1907年7月、日露戦争直後の日本経済の不況局面で、日本各地の製麻会社が苦境に陥り、同業各社の合併による業界再編の機運が高まった。安田財閥の総帥・安田善次郎の提唱のもと、北海道製麻株式会社と日本製麻株式会社が合併し、帝国製麻株式会社（帝国繊維の前身会社）が東京で設立された。安田財閥が経営に関与する日本製麻が合併の中心的存在となったため、帝国繊維は安田財閥（後の富士銀行）から歴代社長が派遣されるのが慣例となった。初代社長には安田善三郎が就任した。

合併後の生産拠点は「札幌工場（北海道）」と「鹿沼工場（栃木県）」の2拠点が主力であった。北海道は原料の亜麻が栽培される供給地であり、労働集約的な紡績・織物工程は女性工員を確保しやすい首都圏（栃木県鹿沼）で行う体制が整えられた。原料生産と紡績・織物までの一貫生産体制を整え、麻織物の国産化を主力とする会社として船出した。日本の繊維業界では生糸・綿に加えて毛織物の国産化が試みられた時期と並行して、帝国製麻は麻織物の国産化を担う立場に位置付けられた。

その後の業容拡大は同業合併を軸に進んだ。1923年8月に日本麻糸株式会社を合併、1928年3月には昭和製麻株式会社を合併し、麻紡績の同業統合を順次進めた。1941年8月には太陽レーヨン株式会社を合併し、商号を「帝国繊維株式会社」に変更した。麻専業から繊維全般への業容拡張を商号に反映した節目であり、戦時統制経済下の繊維業界再編の流れに沿った変更だった。

1942年10月には大正製麻株式会社、東洋麻工業株式会社、日本麻紡織株式会社の3社を一括合併、1944年2月には台湾製麻株式会社を合併、1945年1月には日本油脂株式会社の繊維部門の事業を譲り受けた。1923年から1945年までの22年間で合併した同業他社は計11社に達し、麻紡績業界の戦時統合の中心的存在となった。原料の亜麻が北海道・台湾で栽培され、紡績・織物が栃木県鹿沼・静岡県磐田などで行われる体制は、戦時下の繊維需要に応じる集約モデルとして機能した。

第二次世界大戦の終結に伴い、帝国繊維は財閥会社に指定された。1950年7月に過度経済力集中排除法および企業再建整備法に基づき、帝国繊維株式会社は解散し、中央繊維株式会社、帝国製麻株式会社、ほか1社（東邦レーヨン）の3社が設立された。製麻事業は「帝国製麻」に継承され、その他の繊維事業は「中央繊維」と「東邦レーヨン」として分割された。各社の資本関係は切り離され、帝国繊維は安田財閥の中核企業から、財閥解体後の分散型繊維企業群へと変容した。1950年9月、中央繊維と帝国製麻はともに東京証券取引所に上場した。

財閥解体後、両社は製麻事業への設備投資を継続した。磐田工場（静岡県）と中標津亜麻工場（北海道）を新設し、量産体制を拡充した。しかし合成繊維の台頭による麻織物需要の構造的低迷を背景に、両社は1959年11月に再合同を決断した。中央繊維株式会社が帝国製麻株式会社を合併し、再び「帝国繊維株式会社」に商号変更した。1960年時点で従業員5,000名を抱える日本有数の大企業となり、1961年10月には東京証券取引所市場第一部に指定された。財閥解体から10年弱で旧帝国繊維の主要部分が再統合される結果となり、安田財閥系の麻紡績会社という性格を再構築した。

1971年8月のニクソンショックと1973年10月の第一次石油危機は、麻紡績を主軸とする帝国繊維にも直撃した。円高ドル安の進行と合成繊維への需要シフトで繊維事業の競争力は低下し、1975年に経常赤字へ転落した。当時の主力工場は栃木県鹿沼工場（従業員225名）、静岡県磐田工場（従業員346名）、岐阜県大垣工場（従業員405名）の3拠点であったが、いずれも単独での存続が困難な状況に陥った。1977年には従業員480名の削減を決定し、戦後の繊維事業集約期で本格的な構造改革を開始した。

低迷する麻事業から脱却する手段として、1978年に「テイセンアパレル」を設立して紳士服販売に参入し、衣料繊維のチャネル拡張を試みた。同年には航空自衛隊向け制服の納入を開始し、防衛分野への食い込みを開始した。創業以来の麻紡績会社という性格に加えて、自衛隊向けの繊維製品供給という新たな事業基盤を模索する動きだった。1980年4月には磐田工場をヤマハ発動機に売却し、1981年には工場跡地をショッピングセンターとして賃貸活用する道を選んだ。工場跡地の不動産活用は1970年代後半の繊維各社で並行して進んだパターンであり、帝国繊維も日本毛織のニッケコルトンプラザ・ニッケパークタウンと類似の形で工場跡地から不動産収益を引き出した。

1982年には耐熱衣料の販売を本格化し、「防災関連製品」のカテゴリーを事業領域として明確に立ち上げた。1984年12月には麻の市況回復に伴う販売好調で7期ぶりに復配を実現した。1975年の赤字転落から約10年を経て、帝国繊維は繊維事業の縮小と防災事業・自衛隊向け事業・不動産活用の3つの新事業軸を組み合わせて経営の安定化を回復した時期にあたる。1985年から1990年代前半までは、麻紡績の縮小均衡と防災事業の本格立ち上げが並行して進む時期となった。