김 전 행장은 1964년 서울대 법대를 졸업하고 1966년 한국상업은행에 입사한 뒤 한미은행 상무, 전무 등을 거쳐 1997년 제5대 한미은행장을 지냈다. 한미은행장 임기 중 한미은행과 경기은행의 합병을 성공적으로 지휘했다는 평을 들었다. 이후 외환위기로 어려워진 상업은행과 한일은행이 1998년 7월 합병해 탄생한 한빛은행(현 우리은행)의 초대 은행장을 맡았다.
한빛은행의 초대 은행장 제의에 김 전 행장은 한미은행이 경기은행을 인수한 지 얼마 되지 않아 망설였지만 당시 이헌재 금융감독위원장의 강력한 권유로 통합 한빛은행을 이끌게 된 것으로 알려졌다. 상업은행과 한일은행 양쪽 인사들의 다툼이 치열했던 상황에서 김 전 행장이 조직 내부 갈등을 잘 극복해냈다는 평가를 받고 있다.
그는 2001년 3월까지 한빛은행장으로 재직했다. 한빛은행은 예금보험공사가 설립한 우리금융지주에 편입되면서 2002년 5월 우리은행으로 상호를 변경했다.
김 전 행장은 1982년 2월 설립 이래 26년 만에 금융전문 최고경영자(CEO) 출신 인사를 수장으로 처음 맞이한 공무원연금공단에서 2008년 9월부터 제13대 이사장을 역임했다. 2011년 11월부터는 한국자산리츠 회장에 재직하기도 했다.
김 전 행장은 지난달 30일 제주대학병원에서 치료 도중 사망한 것으로 전해졌다. 그는 지난달 25일 제주 중문골프장 내 한 건물 2층에서 내려오다가 넘어져 머리를 부딪쳤고 이후 제주대학병원에서 치료를 받았다. 사인은 외상성 경막하출혈(뇌출혈)이며 아직 장례 절차 등은 결정되지 않은 것으로 보인다.