Han solgte i 1804 palæet for 36.000 Rdl. til kejserlig romersk generalkonsul Romeis. 1826 blev palæet købt af kong Frederik VI, som stillede det til rådighed for prins Vilhelm X af Hessen-Kassel, der boede her til 1839, hvor han med sin familie flyttede til Amalienborg, Brockdorffs palæ. 1878 blev palæet købt af restauratør Lars Larsen, der kaldte stedet for Larsens Lokale.