Die Bibliothek wurde in das stiftseigene Freihaus in der Herrenstraße 19 gebracht, 1784 bestimmte der Kaiser dieses Gebäude zur Residenz des von ihm ernannten Bischofs und die Bibliothek musste erneut umziehen.