1892年1月、大林芳五郎は大阪で土木建築の請負業を個人名義で創業した。大林は建設業界とは無縁の乾物問屋出身という異色の経歴をもつ人物だったが、創業6年目の1898年に大阪市築港工事を受注し、7年の工期を経て完工した。個人企業としては異例の港湾工事であり、受注額は当時の大阪市発注工事としても上位に位置した。この実績により大林組の施工能力は業界に広く知られた。1903年の第5回内国勧業博覧会の施設工事も受注し、創業から10年ほどで大阪の大手業者と肩を並べる位置へ進んだ。1909年には合資会社へ改組して法人化し、組織としての経営基盤を整えた。

1906年、大林組は東京支店を設置し、東京中央停車場（東京駅丸の内本屋）の建設工事を受注した。関西地盤の建設業者が首都で国家的建築を手がけた事例であり、大林組は東京に足掛かりを得た。その結果、地方の一工務店から全国規模の建設会社への拡大が始まった。1916年に創業者・大林芳五郎が死去し、2代目として大林義雄が社長に就任した。義雄は業務組織の近代化を進め、1918年には株式会社へ改組し、技術者の欧米派遣も開始した。すなわち個人企業から株式会社への転換により、資本調達と人材確保の両面で組織成長の制約が取り除かれ、のちの全国展開と海外進出の前提が整った。

1914年、大林組は東西にまたがる二つの大工事を同じ年に完成させた。一つは東京中央停車場（東京駅丸の内本屋）であり、日本を代表する近代建築として後年まで高く評価された建物である。もう一つは大阪電気軌道の生駒トンネルで、落盤事故と湧水に苦しめられながら完工した難工事だった。東では首都の玄関口となる駅舎を建て、西では山岳を貫くトンネルを掘る──建築と土木の両分野で同年に最難関の実績を並行して示した。生駒トンネルは当時東洋一の長さ（3,388メートル）で、完成前年の1913年には落盤で作業員20名が死亡する事故も発生していた。その結果、関西地盤の一企業が全国区の総合建設会社として認知された。

1923年の関東大震災では、大林組が施工していた日本興業銀行のビルをはじめ複数の建物が倒壊せずに持ちこたえ、同社の鉄筋コンクリート造に対する社会的信頼が高まった。1927年には日本初の地下鉄工事（上野〜浅草間のうち万世橋〜上野間）を完工し、都市部の土木技術の力を世間に示した。1930年頃には官公庁の庁舎やオフィスビルなどの名建築を数多く手がけた記録が残っている。建築と土木の両方で同時代の最難関案件に並行して挑む姿勢は、超高層ビル、ダム、原子力発電所、リニア中央新幹線と対象を時代ごとに変えながら、創業から130年余を経た現代まで続いており、大林組の特徴である。

1936年から1940年の5年間、大林組は年平均の施工高で業界1位に立った。関西地盤の企業が全国首位に立てたのは、東京駅建設以来の首都圏市場への浸透と、土木・建築の両分野で複数案件を並行処理できる受注力があったためである。1931年には木工内装工事を手がける内外木材工芸、1933年には道路舗装を担う東洋鋪装（後の大林道路）を設立し、本体に加えてグループとしての事業領域を拡大した。1936年には合併による増資で本体の資本基盤を強化し、全国規模の施工体制も1936年の合併で整った。戦前期の大林組の到達点であり、戦後の再出発に先立つ業界1位の地位だった。なお同時期、鹿島組・清水組・大倉土木（現大成）との間には官公庁工事をめぐる競合があった。

だが1943年、3代目社長となる大林芳郎は応召中に就任を命じられた。戦時下の経営が強い制約を受けていたことを示す事例である。軍需関連の工事に動員される一方、平時の民間建設は縮小し、戦前の施工高1位の地位も戦後の混乱期に一度失われた。創業者が大阪の一工務店を施工高首位の企業に育てるまで約50年を要した歩みが、わずか数年で振り出しに戻った。戦後の大林組はここから再出発し、株式上場、技術研究所の開設、海外進出という従来とは異なる複数のルートで成長した。1892年の個人創業から1940年代までの歩みは、3代にわたる大林家の一族経営が主導した時代だった。

戦後の大林組は、戦災を受けた道路・被災工場・住宅の復旧工事、進駐軍関連の工事から事業再建に着手した。1950年の朝鮮戦争による特需景気で業績は一時的に持ち直したが、1950年代にはもう一つの収穫があった。沖縄米軍基地の建設工事を通じて、アメリカ式の機械化工法と合理的な事務処理の進め方を現場で習得したことである。従来は人力に頼っていた日本の建設業にとって、重機の使用を前提とする施工管理と厳格な工程管理の手法は、技術と経営の両面で転機となった。その結果、高度成長期の超高層ビルやダムの工事に直接使える技術資産を得た。1950年代の受注拡大は、後の海外進出の前段にもなった。

米軍基地で得た機械化工法の経験は、続く高度成長期の土木・建築工事の現場で直接生かされた。1958年に大阪証券取引所、1960年に東京証券取引所へ相次いで上場し、資本市場を通じた資金調達力を得た。ダムや高速道路、超高層ビルなど、施工期間が長く工事中の資金負担が重い案件に取り組むには、安定した財務基盤が欠かせない。すなわち株式上場はその条件を満たす制度的な基盤を与えた。戦前の施工高1位は個人企業の延長線上で達成されたが、戦後の大林組の成長は、株式会社としての組織力がこれを支える新たな構造の上に成り立った。この変化は経営の質を根本から変えた。

1965年、大林組は東京都清瀬市に自社の技術研究所を開設した。業界でも屈指の規模と設備を備えた研究施設であり、ここを拠点にOWSソレタンシュ工法（連続地中壁工法）や国内の超高層建築を支える先進技術を開発した。高度成長期の建設需要は量だけでなく技術的な難度の面でも上がり、ダムや原子力発電所などの建設現場には、他社にない独自の施工技術が必要となった。つまり技術力の差がそのまま受注競争の勝敗を分ける時代に入り、研究開発投資を中長期で回収できる見通しが立った。1970年には東京支店を東京本社へ格上げし、首都圏で事業を広げる中心的な体制を敷いた。

1973年の石油危機は、戦後日本の建設業界が30年依拠した成長条件を変えた。国と自治体の公共投資の伸びは鈍化し、ゼネコン各社は過大な土地保有の整理に追われた。大林組は新しい施工技術の研究開発と、開発企画型営業の推進に経営資源を振り向けた。すなわち受注型の建設業にとどまらず、顧客の土地活用の企画から提案できる総合ゼネコンへの転換が1970年代に社内で始まった。この方向性が後の不動産開発事業やPFI（民間資金活用による公共事業）分野への展開につながった。石油危機後の需要減退下で、大林組は量の追求から受注単価と利益率の確保へと経営の重心を移した。

大林組の海外進出は1950年代の東南アジアにおける戦後賠償工事まで遡るが、本格展開は1964年のバンコクでの常駐事務所開設で始まった。建設業界として初めて海外に常駐拠点を設けたのは、日系企業の現地工場建設の需要を見越した判断で、先行きの読みにくい東南アジアの経済成長に他社より早く参入する狙いがあった。1972年にインドネシアにジャヤ大林、1974年にタイ大林を設立し、現地法人体制を順次整えた。バンコクの常駐拠点を出発点として、大林組のアジア市場における事業が広がり、1970年代以降の日系企業の海外工場建設に応える体制が整った。

1979年にはアメリカの公共工事を日本の建設会社として初めて受注し、2002年には大林USAを設立して北米市場の事業拠点を整えた。賠償工事から始まった海外事業は、40年余を経てアジアと北米という二極を軸とする体制となった。2019年にはシンガポールにアジア支店、米国に北米支店を設置し、地域統括体制を強化した。FY24の海外建築・土木のセグメント売上高は合計7,574億円となり、連結売上高全体の約29%を占めた。北米事業は2010年代以降、合計4件のM&Aを経て、スーパーゼネコン各社の中でも海外展開の中核となった。同時期、競合の鹿島・清水・竹中の海外比率は10〜20%台にとどまっていた。

1989年6月、大林家と血縁関係を持たない津室隆夫が4代目の社長に就任した。大林組の創業から97年が経過し、3代にわたり大林家の一族が率いた経営に外部の視点が加わり、組織的な意思決定体制への移行が進んだ。同年、CI（コーポレート・アイデンティティ）の導入を全社で進め、新しい企業理念と新社章を制定した。津室の就任は当時のバブル景気のピークと重なり、不動産事業の拡大と子会社群の整備が並行して進んだ。だがバブル崩壊後、大林組は一部の子会社の整理を迫られた。大林家以外からの社長起用は、以降の経営トップ選定の基本方針となり、意思決定の透明性を高める前提条件となった。

1994年には仙台市長への贈賄容疑で経営首脳が逮捕された。建設業界全体に対する談合・贈賄体質への社会的批判が高まる時期で、大林組はこの事態を受けて全社的な経営見直し運動に着手した。2018年にはリニア中央新幹線工事に関連する独占禁止法違反の容疑で同社が起訴され、就任直後の蓮輪賢治社長（8代目）は「独占禁止法遵守の活動を強固にしていく」（ニュースイッチ 2018/7/20）と述べ、全社でのコンプライアンス体制の刷新を表明した。脱同族化で組織経営へ移行した後も、建設業界の構造に根ざすガバナンスの課題は繰り返し浮上し、再発防止の取り組みを継続する必要が残った。

2010年3月期（FY09）、大林組は連結ベースで初の営業赤字625億円・純損失534億円を計上した。リーマンショック後の世界的な建設不況のなか、連結売上高は前年比約2割減の1兆3,414億円へ落ち込み、工事粗利率の悪化も重なる厳しい決算だった。スーパーゼネコン5社のうち複数が同年に連結赤字へ転落し、売上減少がそのまま利益を圧迫する建設業界特有の景気敏感性が決算数字に示された。しかしこの構造は逆方向にも働き、受注環境が好転すれば利益は短期間で急回復する。その傾向は次の好況期に実際に現れ、FY10からFY12にかけて業績は3年で回復し、2013年以降も収益拡大が続いた。

FY16には営業利益が1,337億円に達し、続くFY18には1,554億円という上場来最高の水準に到達した。首都圏では再開発案件が相次いで動き出しており、国内建築のセグメント利益だけでFY18に937億円を計上した。営業赤字625億円の底から8年で営業利益1,554億円へ到達した振れ幅は、大林組に固有の構造というより、建設業界全体の景気敏感性の強さを反映したものといえる。完成工事利益率は依然として8〜9%台にとどまり、労務費や資材費の上昇が続くなか、これを10%台へ引き上げる利益率改善が中期経営計画の中心目標となった。大林組の経営陣は好況期の利益水準にも満足していない姿勢をとった。

2018年に就任した蓮輪社長は、長年続いてきた建設事業への依存構造を変える方針を発表した。「建築・土木を本業と呼ぶな」（東洋経済オンライン 2020/6/26）と述べ、2024年度以降には連結営業利益の3割以上を国内建設以外の領域で稼ぐ目標を全社で掲げた。具体的な柱は三つで、不動産開発事業の資産規模を7,000億円規模まで拡大すること、木質バイオマスや洋上風力を軸とするグリーンエネルギー事業の展開、海外建設事業のM&A拡大である。蓮輪社長はこうした脱請負型ゼネコンへの転換方針を社内外に表明した。その理由は、国内建設市場が少子高齢化と公共投資の頭打ちで中長期的な縮小局面に入っていたためである。

2012年に設立された大林クリーンエナジーを中核に、太陽光・風力・バイオマス・地熱などの再生可能エネルギーによる発電事業を手掛けた。蓮輪社長は「川上の植林から川下の発電まで循環サイクル全体を活性化」（日経ESG 2025/1/8）する構想を示し、林業と発電事業の垂直統合を視野に入れた。2011年には新星和不動産の買収（後に大林新星和不動産に統合）で不動産開発事業の基盤を強化し、2017年には大林道路を完全子会社化するなど、グループ再編も並行して実施した。「建てるだけ」の受注産業から脱却する方向性は定まったが、2022年時点でも国内建設が連結利益の7割超を稼ぐ収益構造は変わらなかった。