1886年（明治19年）、創業者の小林忠兵衛が愛知県名古屋市で「小林盛大堂」を開き、雑貨・化粧品・洋酒の販売を始めたのが小林製薬の起源である。明治期の名古屋は東海道沿いの商業集積地であり、町方の雑貨小売は新興商人の参入余地が大きかった。創業者は医薬品の専業ではなく、生活雑貨と輸入洋酒を含む幅広い品揃えで地域市場を相手にする零細小売から事業を始めた。この時期の小林家は名古屋商圏の中で着実に取扱品目を増やし、医薬品との接点を強めていった。創業から130年以上にわたる現在まで貫かれる「生活者向け日用品」という事業の根幹は、明治末の雑貨販売の段階ですでに形成されていた。

1919年8月、合名会社小林盛大堂と合資会社小林大薬房を合併改組し、株式会社小林大薬房を設立した。本店は大阪市西区に置き、近代日本の医薬品流通の中心地である道修町に隣接する立地を選んだ。明治期の医薬品行商から大正期の卸専門商社へと業態を転換する流れに沿った判断で、名古屋商圏から関西商圏への本拠地移動と、合名・合資という人的結合の組織形態から株式会社への転換を同時に進めた。卸機能の確立は、後の製造業への業態転換の助走となる重要な布石だった。

1940年11月、株式会社小林大薬房の製剤部門を分離して（旧）小林製薬株式会社を設立した。戦時下の医薬品統制経済の中で、医薬品の製造機能と卸機能を組織的に分離する動きが各社で進んだ時期であり、小林家もこの流れに沿って製造子会社を立ち上げた。戦中・戦後の混乱期を経て、1956年4月に株式会社小林大薬房が（旧）小林製薬株式会社を吸収合併し、同年5月に商号を小林製薬株式会社に変更、11月に本社を大阪市東区（現中央区）に移転した。雑貨小売・卸専門・製造業態を経て、製造販売一体型の医薬・日用品メーカーとしての現行商号が、ここで確立した。