1921年に竹内鉱業の機械部門が独立する形で小松製作所が設立された。石川県小松に本拠を構え、鉱山機械・採掘機械のほか電気鋳鋼にも従事した。1931年に農林省の要請でトラクター製造を開始し、1938年に粟津工場を新設して満州向けに本格販売した。戦時中の1943年には国産ブルドーザーの試作に取り組んだが量産には至らなかった。

終戦後は農林省のトラクター発注が白紙撤回され経営危機に陥った。工場の100日ストライキを経て、元官僚の河合良成が社長に就任して労働問題の解決に奔走した。1949年から米軍向け砲弾の生産で経営を安定させたが、売上高の72%を砲弾に依存する構造は「米軍次第で浮き沈みする危険な事業」と証券アナリストから指摘された。

1947年にD50ブルドーザーを完成させて以降、毎年のように新型機種を投入し、1954年には生産累計1000台を突破していた。朝鮮戦争終結で砲弾需要の縮小が確定的になると、1956年に大阪工場の生産をブルドーザーに全面転換する方針を決定した。日本政府の道路整備5カ年計画の実施やダム建設需要に支えられ、1959年12月期に売上高92億円・利益7億円強の過去最高を記録した。

建設機械が総生産高の約70%を占めるまでに事業構成が変化し、わずか3年で砲弾依存から建機メーカーへの転換が完了した。転換決定の10年前から蓄積されたブルドーザーの開発実績が、即座に量産体制へ移行できる基盤となった。

1960年に日本政府が資本自由化大綱を公表すると、世界最大手のキャタピラー社が新三菱重工と合弁でキャタピラー三菱を設立した。河合良成社長は通産省に抗議したが阻止は困難と判断し、対抗策を品質改善に一点集中させた。全社的品質管理を導入し、部品4000点のうち3200点に課題を発見する網羅的な調査を実施した。1961年には社内の反対を押し切って米カミンズ社のエンジン搭載にも踏み切った。

1963年に品質改善を反映したD50Aを発売し、クレーム発生数は従来の5分の1に減少した。並行して1960年から1964年に120億円、1969年から1970年に500億円の設備投資を実施した。コマツはブルドーザーの国内シェア60〜65%を維持し、キャタピラー三菱との2社寡占構造が形成された。

建機市場の主力がブルドーザーから油圧ショベルへ移行する中、コマツは約10年遅れで1968年に参入した。米ビサイラス・エリー社との技術提携を基盤に油圧ショベル「15-H」の生産を開始したが、参入初年度の国内シェアは14%にとどまった。転機は1972年に投入した改良型「15HT-2」で、耐久性の向上が建設現場からの引き合いを増やした。

コマツの販売拠点数は国内650カ所に達し、キャタピラー三菱の200カ所、日立建機の350カ所を大きく上回っていた。ブルドーザーの顧客層と重複する油圧ショベルの拡販に既存の直販網が有効に機能し、1976年に国内シェア首位を獲得した。1987年にはシェア32%に到達し、ブルドーザーと油圧ショベルの双方で首位を持つ唯一の建機メーカーとなった。

1970年代以降、コマツは海外輸出に注力し、小松アメリカの設立を起点にグローバル展開を加速させた。しかし1987年には河合会長が能川社長を解任する経営混乱も経験した。1993年には脱建機を掲げてシリコンウエハー（コマツ電子）に積極投資したが、信越化学に追随できず撤退に至っている。

1998年に機械稼働管理システムKomtraxを開発し、建機の稼働状況をリモートで監視する仕組みを実現した。IoTの概念が普及する以前に機械のデジタル化を実用化した先駆的な取り組みであり、顧客に対する付加価値の提供と建機市況の予測に活用された。Komtraxの稼働データは景気動向の先行指標としても注目されるようになった。

2017年4月に米国の鉱山掘削機械メーカーであるジョイグローバル社（従業員数13400名）を買収した。石炭の露天掘りの鉱山機械に強みを持つ同社の取得により、コマツはマイニング事業のフルラインナップ化を実現した。建設機械に加えて鉱山機械の製品群を揃えることで、キャタピラー社に対抗する総合建機・鉱山機械メーカーとしての体制を整えた。

2022年3月期の連結売上高は2兆8023億円・当期純利益2249億円であった。1921年に石川県の片田舎で鉱山機械メーカーとして出発し、砲弾依存からの業態転換、キャタピラーとの品質競争、油圧ショベルの後発逆転、Komtraxによるデジタル化の先駆、そしてマイニング事業の強化という段階を経て、世界第2位の建設機械メーカーの地位を固めている。