Nach einer 1964 geschlossenen Ehe mit der Künstlerin und Übersetzerin Joke Haverkorn van Rijsewijk (* 18. Januar 1935) ist Frommel heute mit der Kunsthistorikern Sabine Kühbacher (* 1958) verheiratet.