画家、漫画家として著名だった池辺釣の長男。明治学院中学を経て立教大学文学部英文科に進む。在学中の昭和十五年(1940)に東宝撮影所のシナリオ研究所に研究生として入る。翌年、大学卒業と同時にシナリオ研究所も卒業、東宝の文芸部に入社。島津保次郎監督に役者としての資質を見いだされ「闘魚」(1941)で俳優デビュー。以後、都会的な知的な二枚目として貴重な存在となる。徴兵を経て東宝に復帰し、「戦争と平和」「青い山脈」「暁の脱走」などの名作に主演する。二枚目から演技派へと歩むきっかけとなったのは1952年、渋谷実監督の「現代人」。「雪国」「暗夜行路」などの文芸大作の後の転機は松竹で篠田正浩監督が撮った「乾いた花」(1964)。この時に見せたニヒリズムが、東映の任侠路線に生かされ「昭和残侠伝」シリーズなどで活躍した。映画俳優協会の初代理事長を務める。後年はエッセーなど、文筆業を中心に活躍した。2010年10月8日敗血症のため死去。