Die gesamte Anlage wurde letztmals 1605 wesentlich verändert, als Patrick Stewart, Earl of Orkney, den von seinem Vater Robert angelegten Herrensitz erweiterte, wobei der Broch teilweise überbaut wurde.