輸入品に依存していたベアリングを内製化するために、1914年2月20日に日本精工合資会社を設立。初代社長には山口武彦氏が就任し、東京大崎（山手線大崎駅前）に工場を設置した。創業時点で本社は東京京橋に設置されたが、1917年に大崎に本社移転を実施しているため、日本精工の実質的な創業地は大崎に相当する。
創業者は山口武彦氏であり、機械輸入の商売に従事しつつ、さまざまな製造メーカー（後の山武ハネウェル・日本酸素など）を立ち上げた連続起業家でもあった。このため、日本精工の設立も数あるうちの1社であった。
ベアリング国産化にあたって、米ナショナルアクメ社から4軸自動旋盤など10台の工作機械を輸入。海軍出身者によって技術陣が構成され、1916年にベアリングの国産化に成功した。ベアリングの量産に目処がたったことで、1916年に株式会社に組織変更（日本精工株式会社を設立）した。
日本精工は国内におけるベアリングの先発メーカーとなり、ベアリング国産1号を「横須賀海軍工廠」に納入した。1917年には航空機向けベアリングを開発するなど、軍需部品としてのベアリングの開発を強化。1919年には海軍がNSKベアリングを「海軍購買名簿」に登録し、取引関係が強化された。
このため、戦前を通じて日本精工は主に海軍向けにベアリングを納入し、軍需企業として業容を拡大した。
ベアリング生産計画は海軍の全面的な支援の下に始められ、当社の技術首脳陣は海軍出身者によって占められ、優秀な熟練工はほとんど海軍工廠から採用された。このように、海軍の強力な背景を下に、わが国ベアリング工業が誕生したことは、その後の当社の発展に大きな意義をもたらした。
わが国の機械工業は、第一次世界大戦の影響により、ようやく興隆のきざしを見せはじめた。しかし、当時はベアリングが機械工業にいかなる役割を持つものであるかを知る人はほとんどいなかった。従って、ボールベアリングという名前すら知らない人が多かった。そのようなときに、当社がいち早くベアリング工業の将来性を洞察し、制作を開始したことは、創立者をはじめ、多くの優れた先人の決断によるもので、当社の伝統となったフロンティアスピリットの発露でもあった。
わが国ベアリング第1号は幾多の試作後、同年（注：1916年）8月に完成し、横須賀海軍工廠に納入され、斯界の注目を浴びた。
日本精工はベアリングの国産化は達成したものの、鋼球の内製化に苦戦。精度の高い工作機械が必要なため、鋼球を自給することができず、1935年までは海外からの輸入品に頼っていた。鋼球の仕入れ先は、CIC（ドイツ）、SKF（スウェーデン）、ホフマン（イギリス）などであったが、仕入れコストが高止まりする要因となっていた。
日本政府（商工省）は国内の機械工業の発展を目的とし、日本精工に対して軸受用鋼球の国産化の資金として「軍需工業奨励金」を交付。1925年および1933年の合計2回にわたり補助金を日本精工に交付した。
鋼球の国産化には、精度の高い工作機械が必要であり難航したものの、2回目の補助金交付により新鋭機械をスウェーデンなどの欧米から輸入し、鋼球生産の国産化に目処を立てた。
1935年に日本精工は多摩川工場（東京都大田区下丸子2-12-8）を新設し、鋼球の生産を開始。ベアリングにおいて鋼球まで内製化することで、一貫生産体制を確立した。
工場にはSFKの工場を参考にして、欧米から輸入した工作機械を大量に導入。人員面では、熟練工ではなく女性工員を登用した。これは、精度の高い工作機械によって誰でも品質の高い鋼球生産が可能となったためであった。
多摩川工場においては、寺沢仲之助（工作課主任）が中心となって、合理化された工場の自動化および熟練工の依存脱却を図った。この結果、多摩川工場においては、熟練工は淘汰され、自動化が進んだ工場として注目された。
生産された鋼球は、航空機の向けのベアリングに活用され、軍需拡大の要請に応えた。
従来の熟練工は新しい機械になじまず、自己の腕にものを言わせて作業を行う習慣から脱しきれなかった。たとえば新しい機械の自動装置を外してしまうような極端な者もおり、自動装置を使わせるのに非常な苦労をした者である。私は新工場（注：多摩川工場）の運営にあたって、受由来の当社の弊風に染まっていない人々集結し、徹底的な教育訓練の下にスタートすべきであると固く信じたのである
軍需拡大によって航空機およの戦車向けのベアリング需要が増加。日本精工の受注は好調に推移したが、大崎工場（本社）と多摩川工場の２拠点の拡張余地はなく、増産には新工場の建設が必要であった。そこで、さらなるベアリング増産に対応するため、藤沢工場（神奈川県藤沢市）を新設。戦時中を通じて工場を徐々に拡張して、敷地面積20万m2の大規模工場となった。工場拡張を通じて、藤沢工場は日本精工における最大の生産拠点となった。
当初は鋼球専門工場として発足したが、軍からの要請を受けて、戦車向けベアリングおよび航空機向けベアリングの生産を開始。鋼球からベアリングまで一貫生産を実現し、日本精工における主力工場となった。
1945年8月の終戦を機に日本精工は全ての工場を閉鎖。1945年11月に多摩川工場・藤沢工場の2工場で生産を再開したものの、GHQにより「大崎工場・愛知工場・福井工場・山梨工場」は賠償指定されて、使用できない状態であった。
東西冷戦による占領政策の転換により、賠償指定の解除が進行。1950年に日本精工の大崎工場で賠償指定が解除され、ベアリングの本格生産を再開した。1951年時点で「多摩川工場・藤沢工場・大崎工場」を中心に増産投資を実施した。
1951年の時点で日本精工はベアリングの国内生産高シェアで40%（1位）を確保。日本精工と東洋ベアリングの2社が国内ベアリング製造の主要メーカーとして認知された。
海外で発明されたボールスクリュー式のステアリングについて、特許権が切れたことを受けて、1959年から日本精工が生産を開始。従来のステアリングに比べて軽量小型化を実現したことから、自動車の完成車メーカーに相次いで採用されるに至った。
1959年にいすゞ自動車へ納入したのを皮切りに、1960年にはトヨタの輸出用クラウン、1966年には日産の乗用車「サニー」に採用され、新事業として拡大した。
低収益の自動車部品「ステアリング」の事業縮小を決定。ステアリング事業を「NSKステアリング」として会社分割し、協業先の選定を開始。2022年5月にドイツの自動車部品メーカー（thyssenkrupp）との合弁会社の設立で合意したものの、2023年5月に合弁中止を発表して暗礁に乗り上げた。
このため、2023年5月にNSKステアリングは第三者割当増資を実施し、投資ファンドのJISが株式50.1%を保有。日本精工はNSKステアリングの株式49%を保有し、関係会社として運営（持分法利益の計上）する道を選択した。