Fowler hatte zwei Töchter, Ellen Thorneycroft Fowler und Edith Henrietta Fowler, die sich als Schriftstellerinnen hervortaten, sowie einen Sohn Henry, der ihm als Träger des Titels Viscount Wolverhampton nachfolgte.