Aber der 5. Earl vermachte seinen Hauptsitz Castle Hill seiner älteren Tochter, Lady Margaret Fortescue (* 1923) und Weare Giffard Hall seiner jüngeren Tochter, Lady Elizabeth Fortescue (* 1926), die das Herrenhaus 1960 verkaufte.