Bis zu ihrem Tod 1973 lebte Savile gemeinsam mit seiner Mutter Agnes, von der er öffentlich als „die Herzogin“ (engl. „the Duchess“) sprach und die er einmal als die einzige wahre Liebe seines Lebens bezeichnete.