Die Karriere fiel jedoch einer Affäre Hays mit Lady Idina Sackville (1893–1955) zum Opfer, Tochter von Gilbert Sackville, 8. Earl De La Warr, geschieden vom Politiker Euan Wallace, zu jener Zeit verheiratet mit Charles Gordon.