Karel II heeft nooit het paleis gezien waarop hij zoveel geld heeft gesjacherd (de koninklijke schatkisten hebben destijds een bedrag van 57.000 dollar uitgegeven, een fortuin), maar hij heeft de basis gelegd van wat wij vandaag zien, met zijn verbazingwekkende gipswerk en houtbeschildering.
Karel II bezocht regelmatig het gecompleteerde paleis.