竹内鉱業から機械部門（小松鉄工所）が独立する形で、1921年に小松製作所が会社設立された。竹内鉱業が鉱山採掘を本業として、九州唐津の「芳谷炭坑」、石川県の「遊泉寺銅山」、茨城県の「茨城無煙炭鉱」を保有していた。鉱山採掘を合理化する中で、機械部門を設置したことが小松製作所の創業経緯であった。独立後の小松製作所は、事業面では鉱山機械・採掘機械に加えて、電気製鋼による電気鋳鋼にも従事しており、機械と鉄鋼の2つの領域で事業展開した。
1931年に農林省からの要請でG25型トラクターの製造を開始して産業用車両に参入。1938年にトラック量産のための粟津工場を新設し、満州開拓公社向けに本格販売した。
戦時中に陸軍および海軍からの要請を受けて、米国で普及していたブルドーザの研究開発を開始。6台を太平洋の激戦地だったアッツ島に搬出したが、海上輸送中に消息不明となった。量産には課題が多く試作車の完成にとどまったが、戦後のコマツが「トラクター（農機）からブルドーザ（建機）」に業態転換するきっかけとなった
1945年の終戦後、コマツは民需転換を行い、政府の食料増産政策に合わせてトラクターの生産に従事した。ところが、1947年に農林省は占領軍によるガソリン供給休止の方針を受け、トラクターの発注を白紙撤回。コマツは主力事業のトラクターの製造中止を余儀なくされた。このため、工場の従業員は手持ち無沙汰となり、賃上げを求めて大規模ストライキ（100日ストライキ）を実施。過激な左翼が紛れ込んだこともあり、工場運営がストップしてコマツは経営危機に陥った。
労働問題の解決のために、元官僚（農務省出身）の河合良成氏が.小松製作所の社長に就任。河合氏は農務省時代にコマツにトラクター生産を推奨したことから責任を抱き、労働問題の解決に奔走した。なお、1960年代まで河合良成氏は小松製作所の社長を歴任し「労働問題の解決」「砲弾製造から建機製造への転換（1955年〜）」「キャタピラー対策のための品質改善（1961年〜）」といった経営施策を通じて、小松製作所を国内トップの建機メーカーに育て上げた。
米軍向け砲弾を量産することで工場稼働率を改善。収益を確保してストライキは収束へ
脱建機を掲げてコマツ電子（シリコンウエハー生産）に投資。競合の信越化学に追随できずに苦境へ
米国の鉱山掘削機械メーカーであるジョイグローバル社（従業員数13,400名・2015年時点）の買収を決定。石炭の露天掘りの鉱山機械に強みがあり、コマツは鉱山機械のフルナインナップ化を目論んだ