1905年9月、神戸で砂糖・樟脳を扱う鈴木商店の番頭・金子直吉が、船舶部品や機械の国産化需要を見込み、神戸の小林製鋼所を買収して神戸製鋼所と改称した。日露戦争が終わった直後で、艦船や産業機械の国産化が政策課題として叫ばれていた時期である。鈴木商店は当主の鈴木岩治郎没後、よね未亡人を立てる形で直吉が経営を握り、大正期にはわが国最大の商社に成長していた。製鋼所は商社の一工場として始まったが、1911年6月、資本金140万円で株式会社神戸製鋼所として分離独立、初代社長には海軍造船少将の黒川勇熊が招請された。

独立から約1年後の1912年3月、同社はドリルの生産を開始し日本初の切削工具メーカーとなった。当時の日本で切削工具はほぼ全量輸入で、軍艦と産業機械の国産化を進めるには必須の周辺産業だった。製鋼所という社名ながら、設立直後から工具・鍛鋼品・機械と複数の製品領域を同時に手がける構造がここで固まる。1915年には機械製作分野に本格参入、1916年には鋼材圧延、1917年には門司工場で伸銅品の生産を開始した。第一次世界大戦期の国産化需要が、複数の事業を並行して立ち上げる後押しになった。

1921年、同社は帝国汽船から鳥羽・播磨の造船所を買収、電機と造船にも手を広げた。戦艦・産業機械の国産化が戦時中に進んだ結果、4,000トン級鍛造プレスを持つ同社は鋳鍛鋼品で急成長し、同時に圧縮機・冷凍機などの機械メーカーとしても発展した。鉄鋼・アルミ・銅・機械・電機・造船が並立する複合企業体の原型が出来上がっていた。第一次大戦後の反動不況と昭和恐慌で苦境に立つと、播磨造船所を分離して身軽化する一方、線材への進出と砕石機械・電気ショベルの新製品開発で乗り切った。

1927年4月、母体の鈴木商店が金融恐慌の渦中で倒産した。当主未亡人と番頭に率いられた総合商社は姿を消したが、神戸製鋼所は独自企業として存続した。三菱・三井・住友・日本製鐵といった財閥系・国策系の鉄鋼メーカーとは異なる出自を持つ、独立系の複合素材企業という後の個性が、この母体倒産によって不可逆に決まった。1933年4月には第2線材工場を完成させ高級特殊鋼線材の生産を開始、全国線材生産量の30％以上を占めるまでになった。1937年にはアルミ分野、1940年には溶接棒（日本初）と、軍需拡大の波に乗って事業領域をさらに広げた。

太平洋戦争末期には国内外に22カ所・従業員約7万人を抱えたが、ほとんどの工場が空襲を受けて敗戦を迎えた。1945年11月、同社は業界に先駆けて出銑し線材生産を再開、機械部門は鋳物・タバコ機械などの民需製品で再出発した。1949年5月に東京・大阪・名古屋の各証券取引所に株式を上場、同年8月には非鉄合金2工場と電機5工場を現物出資して神鋼金属工業と神鋼電機の2社を設立し、本体を本社・名古屋・大久保・日高・尼崎・能登・高知の各工場で出直させた。1957年1月には神鋼金属工業を合金事業部として吸収復帰させている。

1953年11月には機械部門の基幹となる高砂工場を新設、1954年には尼崎製鉄に資本参加、1958年5月には東パキスタン向け肥料工場を受注してわが国初のプラント輸出を完了した。そして1959年1月、灘浜1号高炉に火入れし鉄鉱石から鋼材までを社内で一貫生産する体制となった。1905年の小さな鋳鍛鋼工場から54年目の到達点で、1959年に同社はようやく「鉄鉱石から鋼材まで」を一社で作れる鉄鋼メーカーとなった。鉄鋼一貫化は戦後日本の高度成長期の要件であり、これ以降の鉄鋼事業は銑鋼一貫メーカー同士の競争に入っていく。

1960年代、同社は鉄鋼・機械・アルミ銅・溶接の複数分野で設備投資を連打した。1961年には藤沢工場、茨木工場、1965年には尼崎製鉄を吸収合併して経営基盤を強化、1969年にはアルミ分野の基幹となる真岡工場を稼働させた。そして1970年3月、加古川製鉄所が鉄鋼一貫生産を開始する。従来の神戸製鉄所の線材・棒鋼に加え、鋼板類も生産する総合鉄鋼メーカーへの変身である。同年7月には西条工場、1975年には福知山工場を新設し、アルミ銅と溶接の最新鋭工場を業界トップクラスの規模で揃えた。

機械部門では1958年のプラント輸出を皮切りに海外プラントを連続受注、1983年にはアメリカの直接還元製鉄技術を持つミドレックス社を買収、同年には油谷重工に資本経営参加して建設機械事業への足掛かりを得た。ミドレックス社の直接還元製鉄技術は、高炉を使わずに鉄を還元する工法で、当時は電気炉向けの特殊用途と見られていたが、後の脱炭素時代に水素還元製鉄の中核技術として再評価された。1970年代は石油危機で業績不振に陥ったが、省エネ・省資源による合理化と高付加価値化、そして複合経営の強みを活かした海外事業への展開で乗り切った。

1985年9月のプラザ合意後の円高とアジアNIESの追い上げを受け、日本経済は構造転換を迫られた。同社は1986年末に不採算部門の縮小・統廃合のリストラ計画を打ち出し、1989年には成長分野拡大・新生産体制構築・グローバル化の積極策を公表した。1988年4月にはニューヨークに米国総合統括会社Kobe Steel USAを設立、1989年7月には米USX社との合弁USS・KOBE社が棒鋼・線材の現地生産を開始した。1993年にはプロテック・コーティング社が表面処理鋼板の現地生産に入っている。

1990年には米アルコア社とアルミ缶材・輸送機材・感光体ドラム用アルミ抽伸管で、米テキサス・インスツルメンツ社と半導体製造で、それぞれグローバル・パートナーシップを締結した。鉄鋼・アルミ・機械という自社の既存事業を米国企業との合弁で拡張する戦略で、単独での海外直接投資よりも提携による市場アクセスを優先した。1995年1月の阪神・淡路大震災では、神戸・加古川両製鉄所と本社建物が甚大な被害を受け被害総額1096億円、同期の累積損失は857億円に膨らんだが、同年8月までに両製鉄所は復旧を完了した。

1999年10月、建設機械カンパニーと油谷重工、神鋼コベルコ建機を統合し、建設機械の製造・販売事業をコベルコ建機に一元化した。1983年の油谷重工資本参加以来、取り込んできた建設機械事業を一つの独立した運営単位に整理した形で、以後コベルコ建機は神戸製鋼所グループの主要事業の一つとして独自にブランドを育てていく。同時期の同社は鉄鋼・アルミ銅・機械・溶接・建設機械という多角化の完成形に近づいていた。

ただし、複合経営の強みと裏表の弱みも顕在化していた。1つのセグメントが不振でも他でカバーできる分散効果がある一方、どのセグメントにもナンバーワンを取れない中途半端さが利益率の低さとして表れ始めていた。加えて鉄鋼市況の波が深くなり、2000年代後半以降、同社は2009年3月期・2013年3月期・2016年3月期・2020年3月期と複数回の純損失計上を経験した。

2002年4月、同社は神戸発電所1号機の営業運転を開始した。IPP（独立系発電事業者）として電力卸売市場に参入したもので、2004年4月には2号機が加わった。神戸製鉄所構内の既存用地とインフラを活用し、石炭火力発電で関西電力向けに電力を販売する仕組みで、鉄鋼事業の副次的な存在から出発した電力事業が、後に同社の収益の柱の一つに育っていく。2000年代の同社業績はリーマンショック前の2008年3月期に売上2兆1324億円・営業利益2024億円というピークに達したが、2009年3月期は純損失▲314億円に転落した。

2010年代も業績は安定せず、2013年3月期は純損失▲270億円、2016年3月期も純損失▲216億円を計上した。鉄鋼市況のサイクルに業績が振り回される構図は変わらず、2013年4月には佐藤廣士から川崎博也への社長交代があった。川崎在任中に鉄鋼・アルミの価格転嫁と機械部門の収益改善を進めつつ、電力事業の拡張を将来の柱として育てる方向性が固まりつつあった。

2017年10月、同社はアルミ・銅製品等の品質データ改ざん問題を公表した。長年にわたり製品検査データを顧客仕様に合わせて書き換えていたことが社内調査で明らかになり、自動車・鉄道・航空機・家電など多数の納入先に影響が及んだ。独立系複合素材メーカーとして培ってきた技術への信頼が根本から揺らぎ、国内外の顧客対応、品質保証体制の再構築、外部調査委員会対応、国交省・米国司法省との折衝などが並行して進められた。2018年4月、川崎博也から山口貢へ社長が交代、改ざん問題の引責と経営刷新を兼ねた人事となった。

山口貢体制は品質問題の収束と並行して、事業ポートフォリオの選別と電力事業の本格的な主力化を行った。2018年3月期には純利益632億円まで回復したが、2020年3月期はコロナ禍と構造改革費用（特別損失651億円）で純損失▲680億円という経営構造改革期最大の赤字を出した。同じ2020年3月にはバンコクに東南アジア・南アジア地域統括会社、ミュンヘンに欧州・中東地域統括会社を設立し、真岡発電所1・2号機の営業運転を開始している。アジア・欧州の地域統括体制の整備と電力事業の真岡展開が同時に進んだ局面である。

2022年3月期、同社は売上2兆826億円・純利益601億円でコロナ禍から回復した。2022年2月に神戸発電所3号機、2023年2月には4号機の営業運転を開始、電力事業は神戸4基＋真岡2基の計6基体制に達した。2023年3月期は売上2兆4725億円・純利益726億円、2024年3月期は売上2兆5431億円・純利益1096億円と、2期連続で1000億円超の純利益に近づく水準へと業績が押し上げられた。鉄鋼の価格転嫁進展と機械・電力の好調が重なった結果だった。

2024年4月、山口貢から勝川四志彦へ社長を交代した。22代社長となった勝川は就任メッセージで、脱炭素・電動化・地政学リスクなどの環境変化を脅威ではなく新たなビジネスチャンスを獲得する絶好の成長機会と位置づけると述べ、複合経営を強みと明言した。1905年の小さな鋳鍛鋼工場から始まった会社は、データ改ざん問題を経て、電力という鉄鋼市況に連動しない安定収益源と、機械・溶接・アルミ銅という多角化した事業群を抱える複合企業体として次のフェーズに入っていた。