Aus seiner 1952 geschlossenen Ehe mit Molly Rushworth gingen drei Töchter und fünf Söhne hervor, darunter der Diplomat Duncan Taylor, der wie sein Großvater von 2013 bis 2018 Botschafter in Mexiko war.