Familien Numsen kan føres tilbage Hans Numsen (1613-1652), materialskriver ved Bremerholm, der sikkert stammer fra Hertugdømmet Slesvig og måske er identisk med den Hans Numsen, der 1613 blev døbt i Husum som søn af Numen Ketelsen; i sit ægteskab med Inger Margrethe Vibe (1622-1648) — datter af biskop Mads Jensen Medelfar (1579-1637) — havde han sønnen gehejmeråd, generalmajor Mathias Numsen (1646-1731), der 1688 fik våbenbrev.