Hirsch blev gift 14. august 1870 i Garnisons Kirke med Emilie Deuntzer (25. marts 1847 i København - 14. juni 1931 sammesteds), datter af murermester Johan Jacob Deuntzer og hustru født Kornbech og søster til Johan Henrik Deuntzer.