Liphart war seit dem 2. Januar 1839 verheiratet mit Gräfin Caroline von Bylandt-Rheydt aus Köln (* 14. Juni 1809 in Brüggen; † 12. Februar 1891 in Florenz) Tochter von Johann Nepomuk Carl Heinrich von Bylandt (* 7. August 1755; † 2. August 1822 in Köln).