戦時中に菊池幸作氏が東京都代々木上原にて個人創業。創業の経緯は不明だが、創業時はアンプ向けのトランス（変成器）の製造に従事した。
1945年の終戦直後は日本国内でラジオの需要が高まり、ラジオ向け部品で業容を拡大したと思われる。事業の本格展開に備えて、1947年に株式会社に組織変更を実施。
一連の紛争で労働組合側に有利な判決が出たこともあり、1980年代を通じて山水電気は国内工場の縮小を封じられた。この過程で円高ドル安が進行したため、山水電気は事業存続が困難な状態を打開できず、希望退職者の募集を連続的に実施した。
山水電気は単独での企業存続が困難となり、外資企業への身売りを決定。英ポリーベック社が山水電気の株式を取得したが、同社が倒産しため、香港グランデ社の傘下で経営再建を目指した。
悪化する財務体質を改善するために、本社を含めた資産売却を実施
民事再生法の適用申請を受けて、山水電気は東京証券取引所第1部の上場廃止を決定。1980年代の最盛期には1800名の従業員を抱えていたが、上場廃止直前の2010年12月末時点の従業員数は5名（平均年間給与427万円）であった。