1874年（明治7年）に三井組は岐阜県の神岡鉱山（蛇原平坑）を明治政府から払い下げを受けて、鉱山経営に参入した。神岡鉱山は日本国内で「亜鉛」を産出する最大の鉱山であり、1970年代までは優良鉱山として知られて三井金属の経営を支えた。三井財閥では、金属鉱山（神岡など）と炭鉱（三池など）の鉱業について同一会社で運営するために、1892年6月（明治25年）に三井鉱業合名会社を設立。三井財閥における国内の資源開発（鉱山経営）に従事した。

1928年1月に鈴木商店が経営していた彦島亜鉛製煉工場を買収した。鈴木商店の経営破綻に伴う資産売却を機に、亜鉛製錬能力を西日本へ拡張した。彦島は神岡・大牟田と並ぶ非鉄製錬拠点として位置づけられ、後の彦島製錬株式会社へ連なる流れの起点となった。

1943年3月に昭和鉱業株式会社から日比製煉工場および竹原電煉工場を買収し、日比製煉所を設置した。戦時下の生産体制再編の一環であり、銅製錬能力の強化を目的とした。日比は後に日比共同製錬や日比製煉株式会社の主要拠点として継承された。

終戦後の財閥解体を受けて、旧三井鉱業において「炭鉱部門（石炭）」と「非鉄金属」の事業分離を決定。1950年に炭鉱部門については三井鉱業（旧三井鉱業）、非鉄金属鉱山については三井金属鉱業を発足した。なお、分離直後は財閥商号の利用が許可されなかったため、1952年までの三井金属鉱業は「神岡鉱業」の商号を用いた。

1968年11月に銅の受託製錬会社として日比共同製錬株式会社を設立した。八戸製錬(亜鉛・鉛)と並び、共同製錬方式によって他社からの委託原料も受け入れる体制を整えた。すなわち、自社鉱山の比重低下を見据えた製錬比重の高度化が進んだ。

1990年1月に東京高級炉材・三井金属パーライト・ダイカライトオリエントの3社を吸収合併し、TKR事業部(現セラミックス事業部)とパーライト事業部を設置した。鉱山・製錬中心の事業構成から機能材料領域への転換を進める動きであった。

1999年1月に本社を東京都品川区大崎に移転した。鉱業中心の旧来体制から電子材料・機能材料事業を含む多角化事業の本社機能集約を図ったものと推察される。

2010年7月に自動車機器事業部と株式会社大井製作所を事業統合し、三井金属アクト株式会社を設立した。同月の住友金属鉱山との伸銅統合と並び、機能材料系事業の整理が一巡した。事業会社化により自動車部品事業の独立採算と意思決定の機動性を高めた。

2014年7月にダイカスト事業を分離し、三井金属ダイカスト株式会社を設立した。1962年に設置したダイカスト事業部から半世紀を経ての分社であった。事業会社化により、自動車向けダイカスト部品事業の収益責任を明確化し、競争環境の変化に対応した。

2022年4月の市場区分見直しに伴い、東京証券取引所市場第一部からプライム市場へ移行した。

2024年3月に日本イットリウム株式会社を完全子会社化した。希土類関連の機能材料領域を強化する動きであり、半導体・電子材料事業との連動が見込まれた。