Han var født i Klim, hvor hans fader, Christian Riese Brorson, var sognepræst; moderen hed Dorothea Christine, født Winding. I sit 10. år mistede han sine forældre og fandt derefter et hjem hos sin bedstefader, biskop Broder Brorson i Aalborg, der selv til dels lærte ham latinens begyndelsesgrunde. 14 år gammel blev han sat i byens latinskole, hvorfra han 1774 sendtes til universitetet. I 1778 tog han teologisk, 1781 filologisk eksamen, og året efter erhvervede han magistergraden. Brorson fandt sit udkomme ved undervisning, især som lærer for et ungt menneske, med hvem han gjorde en rejse gjennem hele fædrelandet; for øvrigt omgiks han mange af tidens opvakte hoveder, Rahbek, Pram og flere. I 1784 kaldtes Brorson til konrektor på Herlufsholm som medhjælper for den gamle rektor Bernth, efter hvis død han 1804 blev virkelig rektor; samtidig fik han titel af professor, 1811 af justitsråd. På Herlufsholm forblev Brorson til sin dødsdag, i 49 år. Han ægtede 1785 sit søskendebarn Barbara Nicolette Kynde, født 1755 (døbt 29. august), datter af stiftsprovst Ebbe Clemensen Kynde i Aalborg; efter et lykkeligt ægteskab døde hun 14. juni 1807, og Brorson var så utrøstelig ved tabet af denne elskværdige hustru, at han kun efter sine venners indtrængende opfordring lod sig afholde fra at søge sin afsked. 31. december 1816 ægtede han hendes søster, Maren Kynde, født 1770, død 16. oktober 1840. I den lange årrække, Brorson virkede på Herlufsholm, vandt han sig et navn som en af skolens bedste rektorer, om end selvfølgelig alderen i hans senere år svækkede hans evner; han svigtede aldrig sin gerning, og skolens og disciplenes vel lå ham stedse på hjerte. Hans sjældne, ædle karakter vandt ham alles agtelse, og hans kærlighed til disciplene blev gjengældt; dog havde han i sit væsen noget strængt og bydende, som til en tid kunne hindre større fortrolighed i forholdet til disciple og medlærere, men det havde også til følge, at alle nærede ubegrænset respekt for "Manden", som han kaldtes; man måtte både elske og frygte ham, siger Sibbern; hans medfødte heftighed kunne også undertiden løbe af med ham. Brorson besad megen human dannelse; han havde udbredt læsning, især i historien, megen sans for det skønne; selv havde han i sin ungdom lært at tegne, og den bedste prydelse i sin smukke rektorbolig søgte han i gode kobberstik; musik yndede han til sin høje alderdom. Disse hans egenskaber gjorde ham også velset i hele egnen, for hvilken Herlufsholm den gang var som et dannelsens centrum. Brorson arbejdede flittig i historien og har udgivet flere arbejder, væsentlig oversættelser af nyere tyske værker, samt en fortsættelse af Millots verdenshistorie (4 dele, 1804-10). Til skolebrug udgav han enkelte af de latinske klassikere, ligesom han oversattte Velleius Paterculus (1804) og Curtius (1808). Af biskop Brorsons salmer besørgede han et udvalg (1823). Desuden er han forfatter af enkelte latinske lejlighedsskrifter og disputatser. Videnskabeligt værd kan dog næppe tillægges Brorsons arbejder.