Den første bygning på grunden blev opført 1881 på det daværende voldterræn og husede blandt andet National Scala frem til 1957, hvor den blev nedrevet og erstattet af en ny bygning af jernbeton, hvor stormagasinet Anva flyttede ind. Anva lukkede i 1987 og blev solgt til selskabet Scala, som var ejet af Jørgen Strecker, Ole Strecker, Kai Ginsborg og Bent Fabricius-Bjerre.  Scala-perioden I 1988-1989 blev bygningen ombygget af arkitekten, professor Mogens Breyen og blev til Scala med butikker, restauranter, fitnesscenter, biograf og et diskotek i kælderen med plads til 1.000 mennesker. Bygningen blev i 1989 præmieret af Københavns Kommune, og i 1991 blev den del af Axeltorv, som bygningen ligger ud for, forsynet med skulpturgruppen Zodiac, udført af billedhuggeren Mogens Møller i samarbejde med Scalas arkitekt, Mogens Breyen. Både bygningen og skulpturerne er eksempler på postmodernisme. I 2001 blev de øverste etager lukket, og der var planer om at bygge dem om til hotel.  Centerplan-perioden Efter en række turbulente år med skiftende ejere og konkurser erhvervede det københavnske ejendomsselskab Centerplan i starten af 2006 Scala-bygningen og gennemførte på få måneder en total genudlejning af huset. I juni 2007 offentliggjorde Centerplan de første visioner for et fremtidigt Scala i form af tre projektforslag, udført af Henning Larsens Tegnestue, Schmidt Hammer Lassen og Bjarke Ingels Group. Alle tre forslag lagde op til en betydelig højere bygning på stedet. Mest markant var Schmidt Hammer Lassens X-ing Towers, bestående af to krydsende tårnbygninger, og Bjarke Ingels Groups trappeformede og vredne højhus, som udvider det offentlige byrum fra Axeltorv op ad bygningen til højtliggende, offentlige pladser i niveau med byens gamle tagkote. BIG's forslag var i øvrigt navngivet "Scala", der betyder trappe på latin. Centerplan gik imidlertid konkurs i 2008, og de ambitiøse byggeplaner blev opgivet.