Die Stadt wollte die hohen Unterhaltungskosten des riesigen Gebäudes bald nicht mehr tragen und leitete 1723 mit dem Tausch des Komplexes gegen ein fürstbischöfliches Amtshaus in der Vorstadt eine unruhige Zeit der Besitzerwechsel ein.