Hans sønner var kommandør Frederik Christian Fisker (1760-1814) og Lorentz Henrik Fisker (1753-1819) til Hellestrup, der var fader til kommandør, kammerherre Hans Fisker (1793-1855), med hvis søn lægen Lorents Henrik Fisker (1817-1859) slægten uddøde i mandslinjen.