Det særprægede navn har bygningen overtaget fra den bygning, der lå på grunden før, men som nedbrændte 4. januar 1950. I 1885 åbnede den forhenværende direktør for Tivoli Bernhard Olsen Danmarks første vokskabinet, Skandinavisk Panoptikon, på adressen. Ordet panoptikon har flere betydninger hvoraf en altså er vokskabinet. Bygningen var opført 1883-85 efter tegninger af Henrik Hagemann, og flere sale var indrettet af Arnold Krog, der da arbejdede på Hagemanns tegnestue. I 1898 blev kunstmaler og fabrikant Vilhelm Pacht direktør i Skandinavisk Panoptikon. Han havde siden 1896 drevet Danmarks første biograf, Kjøbenhavns Panorama, i en træpavillon foran Københavns Rådhus, der på det tidspunkt var under opførelse. I 1898 blev biografen sagt op, fordi træpavillonen skulle rives ned. Året efter flyttede biografen så ind hos vokskabinettet i Panoptikonbygningen, hvor Pacht drev den frem til sin død i 1912. I 1909 åbnede endnu en biograf i bygningen, Panoptikon-Teatret. Den eksisterede frem til foråret 1927. På det tidspunkt ønskede bygningens ejer at sælge. Han skyldte et større beløb til den krakkede Diskonto- og Revisionsbanken, der havde pant i bygningen. Arbejdernes Landsbank havde et større beløb til gode i den krakkede bank, og overtog pantet til dækning af gælden. Banken var nemlig vokset ud af dens tidligere lokaler på Frederiksberggade og flyttede således ind i Panoptikonbygningen. Da bygningen brændte i 1950, lod banken den nuværende bygning opføre, hvor banken stadig har adresse. Huset var klar til indflytning i efteråret 1952. Facaden blev renoveret 1996 uden, at dens æstetik blev ændret.