Im Jahre 1766 heiratete er Thérèse Couret de Villeneuve (ca. 1750–1823), sie hatten drei Kinder: Antoinette Pauline Panckoucke (1769–1840), Thérèse Charlotte Panckoucke (1775–1838) und Charles Louis Fleury Panckoucke (1780–1844).