Philipp ließ sie nach seiner Rückkehr aus der Verbannung 1552 wiederherstellen und begann 1557 zugleich mit einem umfangreichen Um- und Neubau des alten Schlosses (unter der Aufsicht des Erbprinzen Wilhelm).