Borgen måtte han afstå til sin lensherre, Henrik Løve, i 1158, efter at have gjort ham utilfreds ved sin indblanding i danske tronstridigheder, dvs. borgerkrigen under Svend, Knud og Valdemar, kulminerende i slaget på Grathe Hede.