Zeitweise wurde sie von Mary Sidney verdächtigt, mit ihrem Liebhaber Dr. Lister anzubändeln, sie war in Wirklichkeit nach dem Tod ihres Mannes die Geliebte von Mary Sidney's Sohn, ihres Vetters William Herbert, mit dem sie zwei uneheliche Kinder hatte.