1915年9月に横河民輔氏が「電気計器研究所」を東京渋谷に創業。大正時代を通じて工業用途の計測器は欧米からの輸入品（ウェスチングハウス、シーメンスなど）が日本国内で活用されており、国産化がなされていなかった。そこで、横河民輔氏は電気系機を国産化するために、電気計器研究所を発足した。
電気計器国産化のために、横河民輔氏は技術者の欧米留学を支援。研究開発の現場では、横河一郎氏（横河民輔氏の甥）、青木晋氏といった当時20代の人材が計器の国産化に注力した。
1917年には精密電気機器（電流計・電圧計・電力計）の国産化に成功。試作品を通信省や海軍省など見込み顧客に持ち寄ったところ、輸入品に劣らない評判を得た。
製品化にめどを立てたことで、1920年には株式会社横河電機製作所として株式会社化を実施。横河民輔氏による個人事業から、株式会社として企業を成長させる方向性で事業を展開した。
会社設立時点の株主は6名であり、筆頭株主として横河一郎氏が500株（約30%）を保有。横河民輔氏は株式保有をせず、以後、横河一郎氏を中心とした横河家による同族経営を志向した。
横河民輔氏は建築家であり、米国出張を通じて現地の建築技術を学んだのちに、明治36年に横河工務所を創業。日本国内において「帝国劇場」「三越本店」「東京証券取引所」の建築に携わった。
また、横河民輔氏は建築設計にとどまらない事業展開を志向。明治40年には鉄骨橋梁分野に進出するために、横河橋梁製作所を創業し、大正4年には現在の横河電機に相当する「電気計器研究所」を個人創業するなど、技術を軸として手広く事業を展開した。
戦時体制下において、横河電機製作所は主に軍需向けの計器の販売を拡大。1927年に陸軍の指定工場となり、高射砲の算定器の研究開発を開始し、以後、軍需品の開発および生産に従事した。
軍需品の生産拡大に対応するため、1927年に東京の吉祥寺に1.6万坪の土地を確保。1930年に吉祥寺工場を新設して、渋谷工場で行っていた計測器の生産を集約した。生産品目は、航空計器・航空用マグネトーなどであり、航空機に関する計器生産に従事した。
第二次世界大戦の敗戦に伴い横河電機は軍需を喪失。戦時中は国内に5工場を稼働していたが、このうち4工場（小金井・大久保・川越・辻堂）を閉鎖し、吉祥寺の武蔵野本社に集約した。人員面においても、終戦時点で1.2万名存在した人員の大半を解雇し、1200名の体制で事業活動を再開した。
1973年10月のオイルショックを機に、石油化学メーカーにおける設備投資が相次いで中止。石油産業向けの計測器の販売に依存していた横河電機は業績が低迷し、当時の横河正三社長は「夜も眠れない」状態となった。
石油危機直後の1974年から1975年にかけては本当に困った。石油危機が起きた時、当社の製品は石油関連事業向けが83%もあったんです。社長としては目が回りますわね。それこそ何日も眠れなかった。減量すべきかどうか真剣に悩みましたね。そりゃあ、減量経営の方が社長にとっては楽ですよ。組合とちょっとチャンバラをやればいいんですから。しかし、一度減量したら、社員に生き甲斐を与えることは絶対出来ない。そう思い、拡大経営とはいかないまでも、少なくとも減量だけはやるまい、と決心したんです。
1976年に横河電機は米GEと医療機器（X線CT)に関して国内における代理店区契約を締結。GEから製品を導入しつつ、日本国内で横河電機とGEが共同で販売することにより、医療機器事業に参入した。横河電機としては、オイルショックによって鉄鋼および石油産業向けの工業景気の販売が低迷したことから、新規事業として医療機器分野に注力した。
横河電機による医療機器の販売は好調に推移し、1981年3月期にはCTの年間販売額が136億円（1台あたりの単価は数億円）に達した。
CTの販売が好調に推移したことを受けて、1982年にはGEと横河電機の合弁により、横河メディカルシステムを設立。GEが51%、横河電機が49%を出資し、GEのX線CT装置を日本国内で販売した。合弁会社では全国40箇所以上の営業拠点を通じて、各地域の医療機関に対して、フィールドエンジニアが販売・修理・保守に従事した。
1986年には合弁会社への出資比率がGE75%・横河電機25%に変更され、GEの国内販売会社としての側面が濃くなった。
X線CTの市場においては、1981年の時点で東芝メディカルが国内シェア39.6%、横河電機（GE）が21.2%、日立メディコが10.5%のシェアをそれぞれ確保し、GEとしては東芝メディカルとのシェア競争を勝ち抜くために、国内の代理店である横河電機との合弁で、販売力の強化を図った。
1983年に横河電機は、競合である北辰電機（工業計器メーカーで当時国内売上高3位）との合併を決定。合併によって、横河電機は、米ハネウェル、米フォックスボローに次ぐ、世界3位の規模の工業計器メーカーとなった。国内では横河電機がトップをキープしつつ、業界2位の山武ハネウェルとの差を広げた。
対外的には「対等合併」を謳ったが、業績面では横河電機が優位であった。このため、株式の合併比率は横河電機にとって有利な水準（横河電機1.0株に対して、北辰電機0.35株）となった。合併によって商号を横河北辰電機に変更したが、1986年には横河電機に変更している。
合併に至った背景は、北辰電機（清水正博・社長）が計測器業界におけるグローバル競争において単独では長期的に生き残れないと判断し、海外への販路に強い横河電機との合併を志向した点にある。
横河電機（横河正三・社長）としては、北辰電機において歴史的に強みのある製品（特に航空機向け計器）を取り込める点がメリットであった。
生産面では合併後から約3年をかけて「生産拠点統合計画」を推進。東京下丸子に存在していた北辰電機の旧本社工場（約4.8万m2）を閉鎖して、横河電機の生産拠点への集約を実施。旧北辰本社の約1,000名の人員を、横河電機の本社（武蔵野市）および甲府工場に配置転換した。北辰電機の旧本社跡地は隣接するキヤノンに売却され、売却益によって集約先となる工場における設備投資を実施した。
旧本社の閉鎖売却というドラスティックな拠点統合によって、横河電機としては北辰電機とのPMIをスピーディーに推進する狙いがあった。
合併にあたって、横河電機は人員整理を行わないことを確約した。このため、1990年代前半までの横河電機は人員削減を行わない企業（子会社への出向により対処）として注目を浴びた。
工業計器工業会の会長（横河）、副会長（北辰）の両トップは、業界1位と3位の主導的立場にあり、商売上はライバル。だが、横河正三社長、清水正博社長は親父の代からの交際が深く、仲良しだったという。国内外の情勢をにらみ、会社の将来を考えて、北辰電機の清水社長の方から合併話を持ちかけたと言われる。（略）
対等合併というものの、1対0.35という合併比率が示すように、大（横河）が小（北辰）を呑み込んだ形の合併である。呑む側はいいが、呑み込まれる側に、悲壮感が生じ、それをうまく処理しなければ合併は効果を得ない。横河社長は、社内から突き上げをくうほど北辰サイドに配慮したのである。横河、北辰の合併が、業界筋から羨ましがられるほどスムーズに運んだのは、横河社長のこの巧みな融和策にあったといえよう。
NEC系列の安藤電気の株式33%を132億円で取得。1999年に横河電機はヒューレットパッカードとの合弁を解消しており、通信・半導体向けの計測器事業を強化するために買収を決定した。
横河電機は1983年から公言してきた「人員削減をしない方針」を撤回し、2003年に人員削減を伴う国内における生産再編を実施。グループ会社を含めた15工場の閉鎖を決定した。特に、傘下の安藤電気（2002年10月に買収）における改革を推進するため、同社において150名の希望退職者の募集を決定した。
横河電機は約400億円規模の固定費削減のために余剰人員の削減を決定。希望退職者を募集し、合計1105名が退職に応募した。人員削減に伴って2015年3月期に事業構造改善費用を特別損失として166億円計上した。
石油・ガス業界向けのソフトウェアおよびコンサルティングサービスを手掛けるKBC社（KBC Advanced Technologies plc）を279億円で買収。