Bygningen har sit navn, da den tjente som bolig for den nederlandske historie- og portrætmaler Karel van Mander III (1609-1670). Gottlieb Schreck købte i 1775 Karel van Manders Gård og indrettede gården med en række klub- og koncertlokaler, hvor bl.a. Kongens Klub (oprindeligt Fichs Klub eller Selskabet i Mad. Schrecks Gaard) lejede sig ind. Selskabet fik navnet Kongens Klub ved kgl. resolution af 16. november 1782. Dette navn hang ved huset, der i lang tid beholdt navnet Kongens Klub, selv efter at klubben var flyttet omkring 1850.  Arkitektur Forhuset blev opført i midten af 1600-tallet og forhøjet med en etage i 1918. Baghusene blev dels opført i midten af 1600-tallet, dels 1877-79. Hele bygningen blev fredet i 1918.