Jacob Houlind har også en datter, Isolde, med tv-værten og entreprenøren Andrea Elisabeth Rudolph samt tre sønner, Svend, Karl Peter og Herman, med journalisten Mette Kjær, som han bor sammen med på Frederiksberg.