1990年代を通じて国内鉄鋼需要は低迷し、高炉メーカーはどこも設備過剰を抱えていた。川崎製鉄と日本鋼管は2000年4月に鉄鋼事業の協業で合意し、2001年4月に経営統合を決断する。競合である新日本製鐵・住友金属工業・神戸製鋼が同時期に3社アライアンスを締結し、日本の高炉業界は一気に再編期に入った。2002年9月、両社は共同して株式移転により完全親会社としてJFEホールディングスを設立し、東京・大阪・名古屋の各証券取引所第一部に上場する。旧両社の普通株式は同時に上場廃止となり、国内の高炉メーカーは新日鉄・JFE・神戸製鋼による三極体制へと集約された。統合は競合の合従連衡に追随する受け身の性格を持ち、業界全体での延命策という色合いが色濃かった。

統合比率は日本鋼管0.75対川崎製鉄1.00で、財務体質が相対的に良好だった川鉄に有利な条件となった。2003年1月に両社の会社分割契約書締結を承認し、同年4月、JFEは両社を会社分割により事業会社をJFEスチール・JFEエンジニアリング・JFE都市開発・JFE技研の4社に再編する。同時に川崎マイクロエレクトロニクスを完全子会社とする会社分割も実施した。旧日本鋼管の扇島・福山、旧川崎製鉄の千葉・水島という4製鉄所を東日本（扇島・千葉）と西日本（福山・水島）の2拠点にまとめ直し、2005年度までに間接部門の経費節減と調達コスト軽減で合計800億円の統合効果を出すという目標を掲げて運営を始めた。新体制は統合効果の早期刈り取りを最優先に据え、川鉄主導で経営の実権を握る構図となった。

統合直後の経営陣は余裕を失っていた。「鉄鋼業界は数年前、地獄の淵まで見たわけです。JFEにしても、統合時には『収益第一』という経営方針しか出せなかったし、それ以外のことを考える余裕は全くなかった」（數土文夫・JFEスチール社長、日経ビジネス 2004/12/13）と語るほどの緊張感で運営を始めた。ところがその直後、1999年まで20年間7億トン台で推移していた世界粗鋼生産は、中国の爆発的な需要拡大で2004年に10億5000万トン台まで膨らんだ。鉄鉱石・原料炭の国際市況も一変し、価格と数量の両方が一気に持ち上がる局面を迎える。統合前に想定していた国内縮小前提の経営環境は、わずか1〜2年で外部からひっくり返され、延命策として始まった統合は一転して成長期への入り口となっていった。

JFEは2003年に広東省広州鉄鋼企業集団と合弁会社を設立し、51%を出資して自動車用鋼板の現地生産に踏み切る一方、上工程は日本国内に残した。「鉄鋼生産の上工程に当たる製鉄・製鋼工程は技術の固まりだから、絶対に日本が守らなければならない」（江本寛治・JFEホールディングス会長、日経ビジネス 2004/1/15）という考え方である。2005年6月にはNKK出身の數土文夫が代表取締役社長に就任し、川鉄出身の前任から引き継ぐ形で、川鉄出身・NKK出身が交互に経営トップを務める人事バランスの第一歩となった。2006年3月期の連結売上高は3兆984億円、当期純利益は過去最高の3,259億円に達し、同年11月には1,200億円規模の自己株式取得も発表され、中国特需の追い風は最大限に受け止められる形で決算に現れた。

2008年9月のリーマンショックで鉄鋼需要は急減し、2010年3月期の連結売上高は2兆8,443億円まで落ち込み、当期純利益は456億円まで縮小した。2012年3月期には欧州債務危機・円高・タイ洪水が重なり、JFE発足後初の最終赤字となる純損失▲366億円を計上する。2005年度に5%前後あった売上高営業利益率は2012年3月期には1.4%まで沈下し、中国特需期に積み上げた稼ぐ力が一気に失われる格好となった。2008年3月には西日本製鉄所福山地区に500億円規模の増産投資を決めたばかりだっただけに、直後の需要急減の打撃は一層大きかった。2009年6月には川崎製鉄出身の馬田一が代表取締役社長に就任し、リーマン後の業績悪化局面でのかじ取りを担うことになり、投資を絞りながらの踏みとどまり経営が続いた。

造船事業では2008年3月に日立造船とJFEエンジニアリングが保有する株式の取得によりユニバーサル造船を子会社化し、2013年1月にはIHIマリンユナイテッドと経営統合してジャパンマリンユナイテッドを設立、同時に一部持分を手放して連結除外へ移した。造船は「持つ」と「離す」を短期間で使い分ける形となり、エンジニアリング領域の重心は海洋・環境プラント・廃棄物処理へと移っていく。2009年4月にはJFE技研のエンジニアリング関連研究機能をJFEエンジへ移転し、JFE技研本体をJFEスチールへ統合、2011年4月にはJFEスチールがJFE都市開発を吸収合併して保有不動産活用事業を承継するなど、持株会社体制のスリム化と事業の再割り当てが並行して進められた。成長投資の原資確保が難しい局面で、既存資産の組み替えが選ばれた形である。

第2期を通じて最大の逆風は、中国の粗鋼生産が2000年代の2億トン台から10億トン超へと拡大し、過剰供給が恒常化したことだった。アジア市況は中国からの輸出鋼材に左右され、JFEの輸出採算は圧迫され続ける。2014年3月期には連結売上高3兆6,668億円・当期純利益1,023億円と一時的に回復したが、2016年3月期には売上高3兆4,317億円・純利益336億円へ再び沈下した。同時期には韓国・インド・ASEANの高炉メーカーも能力を積み増しており、グローバル供給過剰がJFEの収益回復を阻み続ける構造的な局面が続いた。特需期に依拠した経営体質では外部変動を吸収できないという現実が、決算のたびに繰り返し突き付けられ、構造赤字の10年という言葉がグループ内に定着していった局面であった。

この間、社長は數土文夫（2005〜2009）、馬田一（2009〜2015）、林田英治（2015〜2019）、柿木厚司（2019〜2023）と交代し、川鉄出身・NKK出身が交互にトップを務める人事バランスが定着した。2012年10月にはJFE商事を株式交換で完全子会社化し、鉄鋼・エンジニアリング・商事の三事業による持株会社体制を完成させる。広州JFE鋼板では2011年5月に冷圧鋼板製造設備を稼働させて中国現地生産を拡大し、2012年7月には川崎マイクロエレクトロニクスの全株式をメガチップスへ譲渡して非中核事業を整理した。それでもグループ全体の利益水準が中国特需期の高みに戻ることはなく、構造的な収益力の低下が静かに進行したまま、10年単位の長期停滞が常態化していき、抜本的な構造改革の議論がなかなか具体的な形にならずに先送りされ続ける状態が続いた。

2020年3月期、JFEは1,977億円という発足以来最大の最終赤字を計上した。国内外の鋼材市況低迷に加え、2,200億円規模の減損を含む構造改革費用が重くのしかかった形だった。翌2021年3月期にはコロナ禍で粗鋼生産が急減し、営業損益まで129億円の赤字に転落する。発足以来、本業ベースでの赤字は初めてで、統合19年目にして事業構造そのものへの問い直しが避けられなくなった。2019年6月に柿木厚司がトップに就任しており、構造改革の青写真を描くことは同氏にとって最優先の経営課題となる。第2期まで続いた中国特需残像の延命型経営ではもはや持続不能という現実が、二度の最終赤字によって経営陣に突き付けられ、京浜地区の上工程休止という重い選択肢が現実味を帯びた局面であった。

その構造改革計画の中心が京浜地区上工程の休止だった。2023年9月、JFEは京浜地区の上工程（高炉・製鋼）を休止し、高炉を8基から7基に減らす。固定費削減効果は年間450億円、予備品・設備廃却に伴う一過性費用として約200億円を棚卸資産評価差等に計上した。「苦渋の決断でしたが、スリムな事業体質、事業構造にするということで決断しました」（北野嘉久・JFEホールディングス社長、決算説明会 FY24）。京浜の土地活用を将来収益の「4本目の柱」と位置づけ、扇島・南渡田・扇町の3エリアの開発を進める方針を打ち出し、2024年度には扇町の土地売却益450億円を計上して土地資産流動化の実績を積み上げた。上工程休止と土地活用は一体の生き残り戦略として設計され、収益と財務の両面から検証された決断であった。

2021年3月期に営業赤字129億円まで沈み込んだ後、2022年3月期は中国特需以来となる高水準の当期利益2,880億円（IFRS）まで急回復した。原動力は販売価格の大幅改善と高付加価値品比率の引き上げだった。FY23のスプレッドはトン当たり諸物価込みで5,000円、主原料ベースで4,000円改善し、高付加価値品比率は48%まで上昇する。量を追わず、収益力の高い商品構成に切り替えるという方針が、数量減でも利益を確保できる体質を生み出した。FY24見通しは事業利益3,350億円、当期利益2,200億円、年間配当110円（10円増配）と高水準の着地が織り込まれ、京浜休止と並行した販価改善の成果が決算の数字に明確に表れる局面となり、量から質という標語が現実の業績で裏付けられ始めた節目の年度となって経営の自信を取り戻す時期となった。

2024年4月、JFEスチール社長を5年間務めた北野嘉久が持株会社社長に就任し、グループ事業利益倍増の長期ビジョンと第8次中期経営計画の策定を主導した。高付加価値品の中心は自動車用超ハイテン、方向性・無方向性電磁鋼板、洋上風力向けの大単重厚板で、倉敷地区ではEV向け電磁鋼板の能力増強と第7連続鋳造機の稼働が段階的に進められた。2022年には米CEMCO、2024年5月には米豪STUDCOを買収、同月にはセルビアの電磁鋼板加工会社JSSの設立も発表し、国内生産縮小を海外での高付加価値品加工販売で補うポートフォリオ設計が明確になっていった。2024年4月にはJFEエンジが洋上風力基礎向け笠岡モノパイル製作所を発足させ、成長領域への設備投資が一通り整備された段階に入っている状況となった。