George Granville ægteskab i 1785 til Elizabeth, grevinden af Sutherland, baronesse af Strathnavar (1765-1839) i 1785, bragte ham store godser i Skotland, med en yderligere residens, nemlig Dunrobin Castle.