I 1265 blev borgen erobret af Erik Klipping, men blev givet tilbage til ærkebiskoppen i 1276, så den under de efterfølgende ærkebiskopper Jens Grand og Esger Juul kunne spille en vigtig rolle i magtspillet mellem konge og kirke.