Muzeum v Karlových Varech bylo založeno na popud významného lékaře-balneologa Josefa Löschnera (1809–1888), jako jedna městská instituce společně s archivem a regionální knihovnou. Díky karlovarským patriotům a sběratelům se postupně podařilo shromáždit rozsáhlé sbírky dokumentující typická karlovarská řemesla. Nejstaršími muzejními sbírkami byly kolekce lázeňských koflíků a karlovarských hornin, zejména rozličných forem vřídlovce.

Již v roce 1867 vzniklo soukromé muzeum rytce skla Antona Pittroffa (1835–1900), nadšeného sběratele předmětů a kuriozit všeho druhu, jež, jak uvádí v katalogu svého muzea, „…zajímají nejen učence a vědce, ale i každého laika, kde si může každý vybrat, co jej zajímá“. Pittroffova sbírka byla dle sběratelova přání začleněna do městského muzea.

V roce 1937 obohatila fondy městského muzea další soukromá sbírka, jejímž původním vlastníkem byl karlovarský lázeňský lékař Karl Becher (1857–1934), jenž mimo jiné shromáždil unikátní soubor literatury o Karlových Varech. Před druhou světovou válkou byla do muzea předána sbírka terčů a střeleckých trofejí karlovarského střeleckého spolku. Součástí městského muzea se stala i soukromá národopisná sbírka (lidový nábytek, lidové oblečení aj.) sběratele Paula Webera von Hohengrund. Četnými dary obohatil muzejní sbírky také karlovarský etnograf Josef Hofmann (1858–1943).

O úspěšný rozvoj muzea do druhé světové války se zasloužili jeho ředitelé, městský archivář Karl Ludwig (1866–1931), profesor obchodní akademie Viktor Karell (1898–1979), jakož i správci Josef Knett (1869–1946) a Anton Rudolf.