貿易業に従事していた川崎正蔵氏は、明治時代初頭に成長産業として造船に着眼。1878年（明治11年）4月に東京築地にて川崎築地造船所を創業した。このため、川崎重工業の創業は明治11年とされる。新規造船に加えて修繕業務に従事し、明治20年の時点で従業員数約600名を抱えた。
現在に至る川崎重工の起点は、1896年に明治政府から「官営兵庫造船所」の払い下げを受けたことに始まる。東京築地における造船所が手狭となったことや、海運業が神戸を中心に発展することを予測し、東京から神戸に拠点を移した。なお、買収における払い下げは50ヵ年の分割払いに設定され、明治政府は川崎正蔵氏を信用した。
神戸への移転後も業容を拡大。明治20年から明治29年までの10年間において、新造船80隻・修繕船589隻に携わり、日本国内では三菱に次ぐ造船所として頭角を表した。
川崎正蔵氏は事業の永続的な発展を図るために、1896年に株式会社として川崎造船所（現・川崎重工業）を設立。設立時点の川崎正蔵氏の株式保有比率は21.48%であり事業承継を意図した。そこで、川崎造船所の初代社長として、日本国首相であった松方正義氏の三男・松方幸次郎氏が就任した。会社設立時点の従業員数は1,800名であった。
設備投資の面では、1902年11月に神戸ぞにおいて「6,000トンの乾ドック」を約6年の工期を経て新設。当時としては最大規模のドッグであり、大型船の建造に対応。海軍向けの艦艇製造に従事した。1915年には神戸造船所において巡洋戦艦榛名を竣工した。
以後、川崎重工は主に海軍から鑑定を受注することで、造船メーカーとして業容を拡大したが、一方で海軍の艦艇建造（軍拡・軍縮）の動向によって業績が浮き沈みする構造的な課題を抱えた。
川崎造船は第一次世界大戦時の好況を受けて、1918年1月に船舶部を発足して海運事業に参入。11隻の汽船を保有して海運業に従事したが、1919年に第一次世界大戦が終結したことで好況が終わりを告げた。
このため、1919年4月に海運事業の分離を決定し、保有汽船11隻の現物出資も合わせて川崎汽船を設立。設立当時は株式数40万株のうち、39.9万株を川崎造船所が保有しており、川崎重工の子会社として運営された。
その後、終戦による財閥解体により、1949年に川崎汽船は株式を上場。川崎重工との資本関係を解消し、単独の海運会社として独立した。
昭和恐慌と海軍軍縮による艦艇需要の減少により、昭和初期に川崎造船は慢性的な赤字に転落。当時の従業員数は1.3万名であり、非稼働の人件費が収益を圧迫した。そこで、1931年に川崎造船所は和議を申請し、従業員3000名を人員整理した。
ただし、日本政府としては海軍艦艇を建造する大企業を解散させることが、国益にならないと判断して特別の融資を決定。川崎造船所は和議を申請しつつも、会社を存続させるに至った。
1931年に川崎造船所は和議申請を経て経営再建に着手。タイミングよく日本国内では軍拡（日中戦争の勃発・軍縮条約の廃棄）の流れが鮮明化したため、川崎造船所は海軍向け官邸の建造により業績を好転。1945年の終戦まで、軍需によって事業を再拡大した。
戦後の財閥解体により、川崎重工業もグループの解体が決定。川崎重工業は「造船・造機・電機」の3事業で再発足した。
一方、子会社などで運営していた4事業「海運・航空機・鉄道車両・製鉄業」について完全な分離を決定。海運業は川崎汽船、航空機製造は川崎航空機、鉄道車両は川崎車輛、製鉄業は川崎製鉄（現JFE）として分離し、各社の株式上場を通じて川崎重工との資本関係を解消した。
造船事業における三井造船との統合計画を受けて、川崎重工業における社内不満が噴出。経営不振に陥っている三井造船との統合計画を疑問視する声が大きくなった。この結果、2013年6月の臨時取締役会において長谷川社長の解任動議が出され、賛成10に対して反対3によって可決。村山氏が新社長に就任した。
事業ポートフォリオの変革を目的として、2020年11月に10年間の経営方針として「グループビジョン2030」を策定