1907年11月、北海道炭礦汽船・英アームストロング・英ビッカースの3社共同出資で日本製鋼所が設立された。日英同盟下で軍艦の大砲や砲弾の国産化を急いでいた日本政府の要請を受けた形で、伊藤博文・松方正義ら政府要人の支持のもと、本店と工場は北海道炭礦汽船の拠点がある室蘭に置かれた。資本金は当時の民間製造業としては最大級の規模で、出資比率は日本側と英国側でほぼ拮抗し、経営も日英の役員が並ぶ国際色の強い体制でスタートした。英国二社と帝国海軍からの技術指導を受け、民間の兵器メーカーとしては極めて異例の体制で業容を拡大し、1915年には本店を東京市に移し、1918年には大阪市に支店を開くなど、戦前日本で屈指の重工業メーカーへと急成長していった。

1919年12月には隣接する北海道製鉄株式会社を合併して製鉄・採鉱事業を取り込み、輪西工場として銑鋼一貫の兵器複合拠点に育てた。翌1920年11月には海軍呉工廠の軍備拡張に備えて株式会社広島製作所を買収し、広島市外に広島工場を設置する。のちに樹脂機械の主力工場となるこの広島拠点は、当初は海軍向け砲弾の製造拠点として出発したものだった。日英同盟と帝国海軍の軍拡が、日本製鋼所の地理的配置を決めた構図である。創業から十年余りで、室蘭の鋳鍛鋼拠点と広島の砲弾拠点という二極体制が形づくられ、第一次大戦後の不況期にあっても海軍の艦艇拡張計画を追い風に受注を伸ばし、戦前の国策兵器産業を支える主軸企業へと成長していった。

1930年前後の軍縮で兵器需要が落ち込むと、輪西の製鉄設備は1931年に別会社として分離され、のちに日本製鐵（現・日本製鉄）に引き継がれて室蘭製鉄所となる。日本製鋼所は製鉄事業から撤退し、鋳鍛鋼素材・兵器・産業機械の三分野に事業を絞ったが、この「軍縮で製鉄を手放した」ことが、戦後に製鉄大手と全く違う道を歩む出発点となった。同じ室蘭の隣地に日本製鉄の高炉と日本製鋼所の鋳鍛鋼工場が並ぶ現在の地理的配置は、この1931年の分離に直接由来するもので、兵器メーカーとしての性格をむしろ先鋭化させる結果を招いた。製鉄事業から解放された室蘭製作所は、以後は大砲の砲身や艦艇用の大型鋳鍛鋼素材の専業拠点として軍需一色に染まっていき、産業機械事業も砲金や軍用鋳物の派生として位置づけられていく。

1935年11月には神奈川県金沢町で横浜工場を起工、1936年6月に竣工して操業を開始し、1941年には東京・府中に武蔵製作所（のちの東京製作所）を稼働させて陸軍向け戦車の量産を開始する。1938年9月には国家総動員法を受けて陸海軍の管理工場に指定され、室蘭は砲身、広島は各種砲弾、武蔵は戦車という役割分担で軍需生産に全面的に転換した。戦時体制下で事業は最大規模に達し、四つの製作所と傘下の協力工場網を束ねる大企業へと膨張し、軍需省指定の基幹工場として国家の戦争遂行の中核を担うに至った。この戦時拡張で積み上がった過剰設備と労働力は戦後の民需転換期に重くのしかかり、後年80年代から続く長期人員削減と構造改革の遠因ともなっていった。

1945年の敗戦で兵器生産は完全に停止し、製作所ごとに民需品への生産転換許可を逐次受けながら再出発した。過度経済力集中排除法に基づく法定整備計画のもと、1950年12月に旧日本製鋼所は解散して商号を株式会社旧日本製鋼所と改めたうえで、新たに株式会社日本製鋼所を設立するという形式で再出発し、翌1951年6月には東京及び大阪の両証券取引所へ株式を上場した。しかし戦前の兵器・素形材に代わる収益の柱はなかなか定まらず、1954年には150名規模の合理化を実施して経営再建を図り、鋳鍛鋼素材と石油化学向け各種産業機械、さらには化学プラント用の大型圧力容器などを組み合わせた民需メーカーとしての姿を十年近く模索しつづけ、戦後十数年はいわば方向感を欠いた試行錯誤の時期だった。

転機は1961年だった。ドイツのアンケル社と技術提携してプラスチック射出成形機事業に参入し、ほぼ同時期に油圧ショベル事業にも新規参入する。この二つが戦後の新規事業の中心として位置づけられ、広島製作所が射出成形機、室蘭が素形材・兵器・鋳鍛鋼、横浜が化学機械という新たな役割分担が再定義された。1975年1月には広島製作所内に機械研究所（現先端技術研究所）を開設し、射出成形機の開発力を組織的に強化する。広島は戦前の砲弾工場から戦後の樹脂機械拠点へと中身を組み替え、1978年8月には米国にJapan Steel Works America, Inc.を設立、1975年12月の日鋼プラスチック機械サービス設立、1981年12月の横浜製作所新工場起工とあわせ、国内外の販売・保守ネットワークの整備と化学機械の生産体制強化にも乗り出していった。

新規参入した2事業のうち、油圧ショベルは小松・日立建機との競争に敗れ、1982年9月には30%規模の減産に踏み切り、1983年3月にはIHIとの生産・販売提携を結び、1986年3月には自社生産からの全面撤退を決断した。1984年3月期には早くも3期連続の最終赤字に転落していた。1986年7月には室蘭製作所で600名規模の人員削減を開始し、1998年5月にもさらに追加で300名を削減、累計で900名に達した。戦時体制下で膨らんだ素形材・兵器生産能力の解体は、80年代から実に20年近くにわたる長期人員調整となって続き、同時期の室蘭製作所では鋳鍛鋼生産ラインの集約や遊休設備の整理も並行して進められ、労働組合との長期協議を経て段階的な合理化がようやく一区切りを迎える形となっていき、戦前型の重量物重工業からの転換を痛みをもって進めた時期となった。

1992年3月には東京都府中の東京製作所跡地を売却し、固定資産売却益425億円を計上する。跡地は府中インテリジェントパークとして再開発された。しかし1994年3月期にも再び3期連続の最終赤字に沈み、2000年4月には経営改善計画を発表して420名の人員削減に踏み切った。この10年間、射出成形機のグローバル展開は、1992年7月のシンガポール、1996年7月のマレーシア、1996年9月のタイ、1997年4月の香港、2002年5月の中国深圳、2008年7月の上海、2010年12月の寧波と段階的に進み、アジアを中心に販売・保守拠点を張り巡らせていった。一方で構造不採算の素形材事業が連結決算の足を引っ張る体質は変わらず、樹脂機械の海外展開で稼いだ利益がそのまま室蘭製作所の赤字で相殺されるという構図が定着し、長期にわたって経営の足かせとして残り続けた。

2000年代後半は中国の経済拡大に伴い受注が回復し、2006年11月には三菱重工業から押出成形機事業を譲り受け、同月に株式会社タハラを子会社化して中空成形機を含む樹脂機械のラインナップを拡充した。2007年8月には本社を東京都品川区に移転し、2010年2月には射出成形機の名機製作所を段階的に子会社化、2016年3月に株式交換により完全子会社化する。2012年4月には株式会社YPKを子会社化、同年9月にはドイツにJapan Steel Works Europeを設立、2015年4月には日立プラントメカニクスから同時二軸延伸機事業を譲り受け、2015年5月には韓国SM PLATEKを子会社化、2018年4月にはジーエムエンジニアリングを持分法適用関連会社化するなど、産業機械事業は着実にラインナップを広げ、樹脂機械と成形機を主軸とする収益源へと育っていった。

一方、素形材・エネルギー事業では問題が一気に顕在化する。2015年3月期に風力発電機向け部品の不具合が発覚し、風力事業損失引当金繰入額として159億円を特別損失に計上した。同期の連結当期純損失は37億円にとどまったが、翌2016年3月期には室蘭製作所の固定資産について素形材・エネルギー事業の収益性悪化を理由に減損損失354億円を計上し、連結純損失は166億円まで一気に拡大する事態となった。2017年3月期も50億円の純損失となり、3期連続の最終赤字となった。1980年代から繰り返されてきた室蘭の構造問題が、風力発電機のトラブルを引き金に決定的な形で経営判断を迫り、事業切り出しという抜本策へと歩を進める局面を招くことになり、後戻りできない改革へと舵を切らざるをえなかった。

2016年6月、佐藤育男から宮内直孝に社長が交代した。赤字決算下での経営トップ交代だった。2019年11月にはニチユマシナリー株式会社の株式を取得して連結子会社化（2020年10月吸収合併）、2019年8月には室蘭銅合金株式会社を設立、2019年4月にはジーエムエンジニアリングの株式を追加取得して連結子会社化、2019年4月には日鋼情報システム株式会社を吸収合併するなど、事業ポートフォリオの組み換えを継続する。そして2020年4月、日本製鋼所は素形材・エンジニアリング事業と風力発電機器保守サービスの技術部門を吸収分割により子会社の日鋼MECへ承継し、同社は日本製鋼所M&E株式会社に商号変更された。同時に圧縮機事業をブルックハルトジャパンに譲渡し、名機製作所を吸収合併して、樹脂機械の本体統合も進めていった。

この分離は単なる子会社化ではなく、本体は産業機械事業に集中するという強い意思表示だった。株式会社日本製鋼所本体は産業機械事業に経営資源を集中し、素形材・エンジニアリング事業は別会社として腰を据えて立て直しを図るという構造である。1907年以来の鋳鍛鋼素材という祖業と、1961年以降に育てた射出成形機という成長事業が、初めて組織的に明確な形で分離された瞬間だった。これは1931年の製鉄事業分離以来、実に90年ぶりとなる大規模な事業分割であり、以後の日本製鋼所の収益構造と工場配置、さらには人材配置を大きく塗り替えていく転換点となり、四年後の再統合への長い伏線ともなっていき、結果として日本製鋼所の組織形を柔軟に変えていく基盤となった。