Han ægtede 1785 sit søskendebarn Barbara Nicolette Kynde, født 1755 (døbt 29. august), datter af stiftsprovst Ebbe Clemensen Kynde i Aalborg; efter et lykkeligt ægteskab døde hun 14. juni 1807, og Brorson var så utrøstelig ved tabet af denne elskværdige hustru, at han kun efter sine venners indtrængende opfordring lod sig afholde fra at søge sin afsked. 31. december 1816 ægtede han hendes søster, Maren Kynde, født 1770, død 16. oktober 1840.