1942년 12월3일 재일교포 2세로 일본 교토(京都)생. 교토 가쓰라고 재학 중이던 1959년 제4회 재일동포 모국방문 경기 때 고국 땅을 밟았고 고교 졸업 후 일본 사회인 야구팀인 교토상호차량에서 뛰다가 1960년 동아대에 스카우트됐다.

동아대를 중퇴한 후 1961년 교통부에 입단, 이듬해 한국에 정착했다. 기업은행 창단 멤버로 1968년까지 활동했다. 좌완 투수로 빠른 직구를 주무기로 삼아 1962년 제4회 아시아 야구선수권 대회 때 대표팀에 선발돼 준우승을 이끌었다. 1963년 11월13일 대통령배에서 볼넷 1개만을 내주며 노히트 노런을 기록했고 1964년 실업 연맹전에선 다승 공동 2위(20승5패)에 오르는 등 활약을 펼쳤지만 부상으로 1969년에 현역에서 은퇴했다.

은퇴 후 바로 마산상고에서 지도자의 길로 들어선 김성근은 중소기업은행(1972~1975), 충암고(1976~1979), 신일고(1979~1981)에서 감독을 맡았다. 1975년 제11회 아시아 선수권 때 대표팀 코치로 참가해 우승을 일궈 체육훈장 기린장을 받았고, 1977년 봉황기에서 충암고를 창단 9년 만에 전국 대회 우승으로 이끌었다. 1981년에는 신일고도 정상에 올려놓았다.

1982년 OB베어스의 창단 투수 코치였던 김성근은 1984~1988년 OB베어스 감독을 시작으로 태평양, 삼성, 쌍방울, LG, SK 등 6개 팀 감독을 맡았다. 만년 하위권이었던 태평양(1989, 3위)과 쌍방울(1996~1997, 2~3위)을 포스트시즌에 진출시켰으며, 2002년 LG의 사령탑을 맡아 팀을 한국시리즈에 올려놓고 준우승으로 이끌었다. 2007년부터 SK를 맡아 그해 2007년 정규리그 1위와 한국시리즈의 팀 창단 첫 우승을 이루었다. 2008년 우승, 2007년 준우승, 2010년에도 우승을 하며 SK에서 세 차례 우승을 이끌었다.