Depuis 1925, Ernest entretient une liaison avec Pauline Pfeiffer, qui travaille à l'édition française de Vogue.
Ya fara wani al'amari a 1925 tare da manema labaru na Amurka Pauline Pfeiffer, wanda ya yi aiki a Paris Vogue .