Fischer vermählte sich 1773 in Stuttgart mit Juliana Charlotte Bilfinger (* 1753; † nach 1806), einer Tochter des Regierungsrates und Hofgerichtsassesors Friedrich Ferdinand Bilfinger († 1761) aus Stuttgart und dessen Ehefrau Juliane Charlotte Vollmann.