1917年に古河財閥（古河合名会社）は、横浜電線製造（古河電工）における多角化を意図して、自動車・自転車向けのタイヤ製造に新規参入することを決定。ゴム製造の技術が確立されていなかったため、米国のB・F・グッドリッチ社との共同出資により「横浜護謨製造株式会社（現・横浜ゴム）」を設立した。
会社設立に際して、グッドリッチが技術支援、古河財閥が経営を担う分担で経営する覚書を締結。設立時の資本金は250万円であり、古河合名会社が50%、グッドリッチ社が50%の株式を保有した。
1919年11月に横浜市内（平沼1-40）において横浜工場を新設。翌1920年5月からは、グッドリッチ社から技術者の派遣を受け入れてゴム製品の製造準備を開始し、1921年3月までに「ベルト、ホース、パッキング、コードタイヤ」の製造を開始した。
ところが、1923年9月の関東大震災により横浜工場が全壊（工場従業員24名が死亡）し、生産不能の状態に陥った。このため、横浜ゴムはグッドリッチ社から輸入した製品の販売に従事し、製造停止を余儀無くされた。
1928年に横浜ゴムは鶴見区平安町に2代目となる横浜工場を新設して、タイヤを含めたゴム製品の製造を再開した。この結果、1931年までに日本フォード、日本GMに対して新車用タイヤの納入に成功した。
横浜ゴムは自動車の普及に対応するため、1934年に横浜工場の増設を決定。竣工時比較で3倍の生産能力を確保した。ところが、戦時中の1945年に横浜工場は空襲を受けて全焼。生産再開の目処が立たないまま。1945年8月の終戦を迎えた。
戦時中の2代目横浜工場の全焼を受けて、横浜ゴムは同工場の再建を諦めて新工場の新設を決定。終戦後は関東圏に小規模な工場が点在していたため、神奈川県平塚に「総合工場」を新設して生産体制を集約する方針を打ち出した。
1950年8月に横浜ゴムはGHQに対して、平塚の8万坪の敷地（大蔵省保有・アメリカ第８軍が管理）の使用許可を申請し、許可を取得。1952年8月から平塚工場として本格稼働を開始した。生産品目は「タイヤ・ビニール」など複数の製品であり、ゴム製品の製造を担った。
ゴム製品の総合メーカーを志向して事業部制を導入。全6部門（タイヤ事業部・工業品事業部・合成品事業部・雑貨事業部・部品事業部・海外事業部）から構成された。
自動車用タイヤの量産のために、愛知県に新城工場を新設。しかしブリヂストンは1960年から東京工場を新設して量産体制を確立しており、横浜ゴムによる自動車用タイヤの量産は出遅れが鮮明となった。この結果、自動車用タイヤ業界において、後発参入企業であるブリヂストンの台頭を許した。
資産圧縮のために、2021年3月に本社ビル「浜ゴムビル本館（東京都港区新橋5-36-11・1961年竣工）」の売却を決定。都心部におけるビルであり、固定資産売却益として209億円を計上した。なお、売却先は非開示。
本社ビルの売却を受けて、2023年に横浜ゴムは本社を神奈川県平塚（平塚製造所内）に移転した。
2023年5月に週刊文春は「山石社長のプライベート」に関するスクープ記事を掲載した。
これに対して、2024年3月28日の横浜ゴムの株主総会において、山石社長（代表取締役）の選任賛成比率は96.3%となり可決。横浜ゴム株主は、業績数値を残す山石社長の続投を支持した。