1921年9月に赤線検温器株式会社（現・テルモ株式会社）を設立。会社設立の狙いは、第一次世界大戦によって体温計の輸入（ドイツ産）が途絶したことを受けて国産化を推進するためであった。
会社設立を主導したのは、東京医師会・会長を歴任した笹川三男三氏であった。当時、東京都向島で体温計を製造していた「竹内製作所」が経営難に陥り、医師会会長である笹川氏に支援を要請。竹内製作所は「赤線」を入れることで読み取りやすくした体温計の先駆的存在であった。
笹川氏は輸入品が主流だった体温計における国産化を有望と判断し、さらに赤線式の体温計が技術的に優れていると判断。さらに、日本の医学会の重鎮であった北里柴三郎氏に相談し、北里氏も笹川氏の「体温計製造会社の企業」に賛同した。竹内製作所の技術を継承して「赤線検温器株式会社」の設立を決めた。
会社設立時にあたって、共同出資の形態をとった。取締役5名のうち、2名が医学博士であり、初代社長に笹川氏が就任。会社設立の創業地は「東京都下谷区御徒町3-58（現在の台東区）」であり、竹内製作所から体温計製造の事業を継承した。また、笹川氏は体温計の販路構築のために、森下仁丹の創業者（森下氏）にも出資を要請した。加えて、会社設立発起人の総代として北里柴三郎氏が名前を連ねた。
このため、テルモの創業は「特定の個人による起業」とは異なる経緯を辿った。生産や製品という側面の「竹内製作所」、共同出資者かつ社長という側面の「笹川氏」、販売をフォローするという側面の「森下氏」という、設立発起人の「北里柴三郎」、共同出資者の「学者・医者ら」など、様々な人物の思惑が一致した起業であった。この点が、テルモにおける「特定の創業者」が不在であり、創業経緯が読み取りにくい理由と言える。
竹内の相談を受けた笹川は、かねてから医師の間で良質の体温計への要望が高かったことから、これを機会に医師仲間の信頼のおける体温計製造会社を作ってはどうかと考え、当時医学会の重鎮であった北里紫三郎に意見を求めた。北里はこれに賛同し、会社設立の発起人になるとともに、多数の有名な学者や医師を誘い、竹内製作所を主体に新会社をつくることとし、みずから創立総会の議長を務めた。
大正10年9月17日、赤線検温器株式会社が東京都下谷区（現台東区）御徒町3丁目58番地に設立された。資本金は50万円（略）で、取締役には（略）五名が就任した。このうち笹川・山上の両名は医学博士であった。社長には笹川が就任した。なお、笹川の懇請を受けて販売を引き受けることになった森下博氏（注：森下仁丹創業者）は、全株式の4分の1を出資して、この事業に参画した。
第一次世界大戦後の不況によって体温計業界でも競争が激化。有力メーカーの1社であった高千穂製作所（現オリンパス）が経営危機に陥った。これを受けて1923年にテルモは、業績不振に陥っていた高千穂製作所の計器事業（体温計の製造）の取得を決定した。
オリンパスの計器事業の買収によって、テルモはオリンパスの旧工場「幡ヶ谷工場（東京府豊多摩郡代々幡町大字幡ヶ谷845）」を取得。オリンパスは既存事業で幡ヶ谷の拠点を引き続き保持したことから、テルモは幡ヶ谷工場において、オリンパスの隣で体温計の生産に従事した。
オリンパスの幡ヶ谷工場を一部取得した直後に、テルモの向島工場が漏電により焼失。そこで、1923年6月にテルモは事業拠点を幡ヶ谷に集約することを決定し、本社を御徒町から幡ヶ谷に移転。生産拠点も幡ヶ谷に集約していく方針を決めた。
工場移転の3ヶ月後、1923年9月に関東大震災が発生。東京の下町が壊滅状態に陥ったのに対し、テルモは被害が相対的に少ない「幡ヶ谷（山手地区）」を拠点としていたこともあり、同業他社と比べていち早く復旧するという幸運に恵まれた。
この結果、1924年時点でテルモは東京地区における体温計メーカーで、生産シェア約60%を確保するに至った。当時の従業員数は、職員9名・男性職工87名・女性工員24名であり、技術開発陣には旧竹内製作所や、旧オリンパスの出身者が体温計の開発に従事した。
このため、テルモは関東大震災の約半年前に、旧オリンパス計器事業の買収によって幡ヶ谷工場を取得したことで、結果として震災の直撃を免れてシェアトップを確保するに至った。すなわち、タイミング的な幸運に恵まれた側面があった。
この震災で同業他社の大半は再起不能の打撃を受けた。それに比べて当社の被害は、向島須崎町の元工場（注：旧竹内製作所）、附属住宅5棟および半製品の焼失など比較的軽微にとどまり、主力の幡ヶ谷本社工場においてはガスの供給途絶などで一時作業の中断を余儀なくされたが、復旧への懸命な努力により10月には平常の操業状態に復帰することができた。
同業メーカーの凋落が目立つ一方、体温計に対する需要はより一層旺盛になり、震災7ヶ月後の13年4月末（注：1924年4月）には、当社は生産能力と作業内容で他社をはるかに抜き、業界1位の地位を占めることになった。
会社設立以来、体温計の販売において「森下仁丹」による販売量が増加した。戦前を通じて森下仁丹は「仁丹」により全国的な知名度を確保しており、これらの販路にテルモが製造した体温計を流していたため、テルモと森下仁丹は販売面で密接な関係にあった。
このため、販売面におけるブランドと商号の一致を狙い、1936年に商号を「仁丹体温計株式会社」に変更した。
1951年にテルモの社長として森下泰氏が就任した（1971年退任）。森下氏は森下仁丹の創業家であり、森下仁丹の社長を務めつつ、大株主であるテルモの経営を兼務する形をとった。このため、テルモの実質の経営は、戸澤常務などの役員が担う形をとった。
1958年に戸澤氏（テルモ常務・のちの社長）は、米国の医療機器メーカーを視察し、現地で使い捨ての医療機器が利用されていることに着眼した。当時の日本国内では注射器などの医療機器は、消毒した上で再利用するのが当たり前であり、使い捨てをするという発想は存在しなかった。
なお、1950年代を通じてプラスチックが普及しつつあり、従来のガラス製の注射器を代替しつつあり、結果として使い捨てのコストが見合う状況になりつつあった。このため、樹脂のコストダウンが、テルモにとって追い風となった。
米国視察を通じて戸澤常務は使い捨て注射器の将来性に着眼し、テルモでの事業化を模索。1962年には全社的な経営方針として「総合医療機器メーカー」に転身することを宣言し、注射器への参入を決定した。
この理由について、テルモの祖業である体温計だけでは事業展開に限界があり、利益が生まれるうちに次の事業を準備する狙いがあった。
使い捨て注射器への参入にあたっては、国内再先発に相当したため、社内での研究を通じた技術開発に加え、注射器メーカーの買収を決断した。1963年に注射器メーカーの「稲門化学研究所」を買収し、藤沢工場としての活用を開始（注射器の開発のみ活用）。また同社のグループ企業であった「稲門富士製作所（富士吉田市）」を買収し、富士テルモとして注射器の生産拠点として活用した。
また、1964年からは富士宮市に工場を新設し、注射器の量産を開始。「稲門製作所の買収」と「富士宮工場の新設」を通じて、テルモは生産拠点の中心を「東京（幡ヶ谷）」から「富士山周辺地域（富士宮など）」にシフトする形となった
ディスポーザブル注射器の生産にあたっては、完全滅菌するための生産方法の確立が必要であった。そこで、テルモは海外の調査機関や学者からのアドバイスを受け、エチレンオキサイドガスによる滅菌法を開発し、国内初の工業化を実現した。
日本国内においては、医療現場で使い捨ての注射器を使用することへの抵抗感が強く、なかなか普及しない問題に直面した。そこで、テルモは注射器を欧米などの海外をメインに輸出展開することを決定した。この結果、1960年代を通じてテルモは、注射器の海外輸出により、業容を拡大した。
製品の多角化へと経営方針の転換を模索し始めたのは、1957年、1958年ごろからで、以来、戸澤常務を中心に検討を重ね、次のような結論に至った。
①企業の発展、繁栄無くして従業員の幸福や生活向上ははかりえない。また企業の成長無くしては従業員の成長もなく、従業員の期待に応えることもできない
②体温計の生産のみでは、将来大きな伸長が考えられず、小企業の域を脱すことができない
③体温計の生産は手工業的要素が多く、人手不足の時代が到来すれば行き詰まる恐れがある
④製品の多角化を図った場合、新製品の全てが企業的に成り立つとは限らない。したがって、体温計が収益をもち蓄積もある今のうちに転換を準備すべきである
⑤多角化の方向は、当社の保持する技術、販売ルート、将来性から見て医療器分野が最適である。しかも「医療の安全性を追求する」という当社の基本理念にかなう製品分野で検討すべきである。
このような基本方針に基づき、安全性を本質とする医療機器としての将来性、１回だけの使用で再使用されないことによる需要の大量化などの面から、ディスポーザブル医療機器分野への進出を決意したのである。こうして、当社にとってはもちろん、我が国においても全く未開拓の分野への挑戦が始まった。
総合利用メーカーへの脱皮を目指すため、1963年に商号を「仁丹テルモ」に変更。続いて、仁丹体温計の販売比率の低下を受けて、1974年には「テルモ株式会社」に変更した。ドイツ語で体温計を意味する「テルモ」を商号に再興した。
米国のカリディアンBCT社（輸血関連機器の製造販売）の買収を決定。取得原価は2181億円であり、買収に伴って「のれん」を1244億円計上した。テルモの歴史において最大の買収額となった。
米国のシークエントメディカル社（脳動脈瘤用塞栓デバイスの開発・製造・販売）の買収を決定。取得原価は369億円であり、買収に伴って無形固定資産として「のれん207億円」「技術資産102億円」「仕掛研究開発資産77億円」をそれぞれ計上した。
米国のセント・ジュード・メディカル社（大腿動脈穿刺部止血デバイスの開発・製造・販売）の買収を決定。取得原価は2181億円であり、買収に伴って無形固定資産として「のれん1244億円」「顧客関連資産895億円」「技術資産232億円」「仕掛研究開発資産96億円」をそれぞれ計上した。