群馬県群馬郡室田町（現・高崎市）の生まれ。オリンピックの優勝者に贈られる月桂樹からとって、父親に“桂樹”と命名されたという。県立前橋中学（現・前橋高校）卒業の年に父親が病死し、千葉県市川市の叔父を頼って一家で転居。日本大学専門部芸術科に進学したが学費が続かず、1941年に中退する。同年、日活、東宝、松竹の入社試験を受けて日活に入社、ほかの二社は学歴の問題で不合格だった。42年、古賀聖人監督「微笑の国」の端役で俳優デビュー。翌43年に日活の解散とともに大映へと移籍するが、応召で満州へ渡る。戦後は大映の島耕二監督「君かと思ひて」46で映画界へ復帰し、千秋実の代役として主演した「その人の名は言えない」51が出世作となる。52年、藤本真澄にスカウトされて東宝へ入社。「ラッキーさん」「三等重役」52を皮切りに、一連のサラリーマン喜劇に出演した。この成功が56年の「へそくり社長」に始まる森繁久彌主演の「社長」シリーズ56～71誕生へと繋がり、小林も社長秘書の役でレギュラー出演を続けた。小林の役は、サラリーマンの世界に何の矛盾も不満も感じず会社のために精一杯働くことに喜びを感じる平凡で健全な庶民、それでいて正義感が強くユーモアもあるという、いかにもホームドラマ的な味が売りものだった。その間の55年、今井正監督「ここに泉あり」で毎日映画コンクールの男優助演賞を受賞。58年には堀川弘通監督「裸の大将」で実在の画家・山下清を本物そっくりに熱演し、毎日映画コンクール男優主演賞に輝いた。60年、松本清張原作、堀川弘通監督の社会派サスペンス「黒い画集・あるサラリーマンの証言」で、保身のために裁判での証言を拒否する小市民的なサラリーマンをシリアスに演じる。これまでとは趣向を一変した作品で新境地を開き、キネマ旬報賞男優賞、毎日映画コンクール男優主演賞を受賞。続いて、脚本家・松山善三の初監督作品「名もなく貧しく美しく」61では高峰秀子と共演で、聾唖という逆境に生きる美しい夫婦愛を演じ、これまた新たな役に果敢に挑んだ。演技に円熟味を増した63年には、山口瞳原作、岡本喜八監督の「江分利満氏の優雅な生活」に主演。戦中派の男の哀歓を見事に表現して、三度目の毎日映画コンクール男優主演賞に選ばれている。その役柄の守備範囲の広さも相当なもので、60年代以降はサラリーマンものの喜劇を基調として、それ以外のさまざまなジャンルの映画にも出演して東宝映画の質の部分を支え続けた。松山監督「われ一粒の麦なれど」64、「六条ゆきやま紬」65などのシリアスドラマや、岡本監督「侍」65、沢島忠監督「新選組」69、伊藤大輔監督「幕末」70などの時代劇での堅実な巧演が光り、中でも黒澤明監督「椿三十郎」62の人質となって押入れに留置される敵方の侍の飄々たる姿はまさに圧巻だった。さらに、サスペンスものでも異彩を放つ。容疑者を執拗に追い詰める検事に扮した堀川監督「白と黒」63、悪徳刑事の須川栄三監督「けものみち」65、親友の妻を誤って殺し、罪の意識に煩悶する男を演じた成瀬巳喜男監督「女の中にいる他人」66、変死事件の謎に挑む弁護士を熱演した森谷監督「首」68。そして“東宝8.15”シリーズでは、堀川監督「激動の昭和史・軍閥」70では東条英機、岡本監督「激動の昭和史・沖縄決戦」71では牛島中将と、実在の人物を絶妙に演じるなど、風格ある演技を披露して、それぞれ代表作とした。73年の森谷司郎監督「日本沈没」では、日本の沈没を予言する田所博士をパワフルに演じる。小林には特異な容姿も強烈な個性もないが、その没個性がかえって役に幅を持たせ、役者として長生きさせたものと思われる。しかし、日本映画の衰退と歩調を同じくして、映画界には小林を活かせる企画が極端に減少していく。80年代からは松林宗恵監督「連合艦隊」81の山本五十六、橋本幸治監督「ゴジラ」84の総理大臣など、作品の要となる重鎮の役柄を振られることが多くなった。64年の「われ一粒の麦なれど」でブルーリボン賞主演男優賞、99年の大林宣彦監督「あの、夏の日・とんでろじいちゃん」で毎日映画コンクール男優主演賞を受賞している。テレビドラマには、65年のTBS『おじさん』から出演し始め、倉本聰も脚本に参加したNHK『赤ひげ』72～73、山田太一脚本によるホームドラマに新風を吹き込んだTBSの問題作『それぞれの秋』73、映画と同じ役を好演した同局『日本沈没』74、ベテラン同心を演じて第１作『同心部屋御用帳・江戸の旋風』75から10年間に渡る長寿作品となった一連のフジテレビ『江戸の～』シリーズ、珍しく殺し屋役に扮して陰のある男を好演した同局『仕掛人・藤枝梅安』シリーズ82～83、83年から晩年の07年まで続いたテレビ朝日『牟田刑事官事件ファイル』など、多くのヒット作に主演している。ほかにもNHK大河ドラマ『竜馬がゆく』68、『勝海舟』74、『風と雲と虹と』76、『徳川家康』83、『春の波濤』85などに出演。異色なところでは、テレビ朝日『土曜ワイド劇場』の第１回作品『田舎刑事・時間よ止まれ』77で、渥美清の刑事を向こうに回して完全犯罪を目論む犯人役を熱演した。85年紫綬褒章、94年勲四等旭日小綬章受章。2010年９月16日、心不全のために死去した。