東京市深川区（現・東京都江東区）の生まれ。本名・奥村勝。父・実は杵屋勝東治を名乗る杵勝流長唄の師匠で、２歳下の弟は俳優の勝新太郎。幼時は兄弟でチャンバラごっこをして過ごし、日本大学第三中学では１年生で３回連続落第したほか、卒業まで柔道部の硬派として鳴らし、戦時下の警察に補導されることもあったという。1948年頃から一転、長唄修業に励み、20歳の時に和歌山富十郎に弟子入りして“若山富三郎”を名乗る。しかし、長唄そっちのけで殺陣の名人・坂東八重之助から殺陣やトンボを習ったというエピソードも残る。役者と下座の世界を厳しく峻別する歌舞伎界に飽き足らず、54年２月、吾妻徳穂の“アズマカブキ”に父や弟と同行して渡米。同年６月に帰国すると、大映入りした弟・勝新太郎に続いて新東宝から誘われ、断るつもりで出した“１本30万円の出演料と自動車での送り迎え”という条件を承知されて、入社する。55年の正月映画「忍術児雷也」でデビュー。最初の１年間で時代劇を中心に10本もの作品に主演するが、白塗りの二枚目として売り出そうとする会社側の思惑は外れ、唯一、56年からの「人形佐七捕物帖」シリーズにおける主人公の岡っ引き・人形佐七が当たり役になった程度に終わる。59年から東映に転じるが、東映での主演作「幡髄院と白鞘組・男の対決」60、「八州血煙笠」61などでも芽が出たとは言えず、62年、弟が活躍していた大映に入社。“城健三朗”と改名して森一生監督「続座頭市物語」に出演し、市の兄という設定でドラマ上でも勝新太郎と兄弟役を演じた。次いで、山本薩夫監督「忍びの者」62では織田信長、三隅研次監督「新選組始末記」63では近藤勇とそれぞれ重要な役をやれるようになる。以後も「忍びの者・霧隠才蔵」「眠狂四郎・女妖剣」64など、大映では勝や市川雷蔵主演作の助演に回ることが多かったが、次第にキャラクターの転換を図り、65年は１年間休養。66年、女犯破戒僧を好演した「処女が見た」を最後に大映を退社し、東映に再入社して芸名を“若山富三郎”に戻した。当時の東映は任俠映画路線が始まろうとしていたところで、再入社第１作は中島貞夫監督の「任俠柔一代」66。以後も「お尋ね者七人」66、「博奕打ち」「懲役十八年・仮出獄」67などで凶暴な悪役を好演し、脇に徹して主役を食うことにより大物スターとしての貫禄を示すようになる。その頂点となるのが山下耕作監督「博奕打ち・総長賭博」68で、従来の善玉対悪玉の図式では割り切れない独特の敵役を熱演。主演の鶴田浩二のストイックさと好対照をなし、任俠映画史上最高の作品と言わしめた傑作を誕生させた。以降、主演に返り咲いた「極道」68～76ではダボシャツにステテコ姿で大暴れする喜劇的演技でヒットを記録し、74年の「極道VSまむし」まで11本が作られる人気シリーズとなる。ほかにも「前科者」68～69が３作、「極悪坊主」68～71が５作とシリーズもので奔放な持ち味を発揮。藤純子（現・富司純子）主演の「緋牡丹博徒」68～72では、４作目の「二代目襲名」69を除く７作で緋牡丹のお竜の義兄弟・熊虎親分を正調な芝居で演じ分け、実生活における豪快な親分肌とも相まって、東映任俠映画の全盛期に着流しもの、背広ものの双方を貫く太い柱として神話的なカムバックを見せたのだった。東映の任俠路線終焉後は、勝プロの「子連れ狼・子を貸し腕貸しつかまつる」72以降、「子連れ狼・地獄へ行くぞ大五郎」74までシリーズ６作に主演。原作劇画さながらの激しい殺陣、凄絶なアクションを見せる主役の拝一刀を演じて、いささかの手抜きもない時代劇の傑作として大ヒットに貢献する。渋さを増した40代に入ってからも、自ら製作と原作を担当した「桜の代紋」73に刑事役で主演。篠田正浩監督「桜の森の満開の下」75の野盗、市川崑監督「悪魔の手毬唄」77の磯川警部も好演し、後者でブルーリボン賞の助演男優賞を受賞している。さらに加藤泰監督「陰獣」77、岡本喜八監督「姿三四郎」77、市川監督「火の鳥」77、アメリカ映画「がんばれ！ベアーズ大旋風」79など、出番は少ないながらも印象的な役を演じる。大岡昇平原作のNHK『事件』79では主役の菊地弁護士に扮して、冷静で人情家という新しいキャラクターを見せた。蜷川幸雄と組んだミュージカル『三文オペラ』77、『アニー』78では長唄で鍛えた美声を披露。新宿コマ劇場の『歌舞伎模様・天保六花撰』78では河内山宗俊に扮し、第33回芸術祭大賞を受賞する。79年の木下惠介監督「衝動殺人・息子よ」では息子をゆきずりの殺人で意味なく殺された父親に扮し、キネマ旬報賞、毎日映画コンクール、ブルーリボン賞など、その年の主演男優賞を独占。その実力を如何なく発揮し、同年の日生劇場『ノートルダム・ド・パリ』ではカジモドに扮して浅丘ルリ子と共演するなど、芸域の広さを見せつける活躍が続く。天才型の弟・勝新太郎とは対照的な努力型の若山は、以後も、木下監督「父よ母よ！」80、蔵原惟繕・深作欣二監督「青春の門」81、加藤泰監督「炎のごとく」81、深作監督「魔界転生」81、舛田利雄監督「大日本帝国」82、「社葬」89、山下耕作監督「修羅の群れ」84、吉田喜重監督「人間の約束」86など多彩な作品群で、日本映画の重鎮としての役目を彩っていく。リドリー・スコット監督のアメリカ映画「ブラック・レイン」89では、マイケル・ダグラス、高倉健、松田優作との共演で、やくざの大親分を堂々と演じきる。しかし、83年に心筋梗塞で倒れたのを最初に、心臓疾患、糖尿病による腎機能の低下などに長く苦しみ、91年に出演した阪本順治監督「王手」の撮影現場では、車椅子で現れるほどの満身創痍の闘病生活だった。92年の日本アカデミー賞授賞式に出席したのが最後の公の場となり、同年４月２日、急性心不全で帰らぬ人となる。享年62歳。私生活では二度結婚したがいずれも離婚。息子の若山騏一郎、娘の友加代子はそれぞれ役者の道に進んだ。