Han var søn af præsten Albert With og blev allerede 1698 indskrevet ved Universitetet som student; men efter at have lært de "fornødne fremmede Sprog og Exercitier" gik han i militærtjeneste og lod sig 1710 engagere som løjtnant ved de i Brabant i engelsk-hollandsk sold stående danske troppers kavaleri. Her tjente han sig efterhånden op og anvendtes som generaladjudant-løjtnant af generalerne Johan Rantzau og Henry de Cheusses, i hvilken sidstes regiment han vendte hjem som ritmester 1713. I de påfølgende krigsår brugtes With, som kongen havde fattet interesse for, atter ved flere lejligheder som generaladjudant-løjtnant; efter landgangen på Rügen 1715 blev han major, 1716 var han attacheret de russiske tropper under disses march fra Haderslev gennem Fyn, og 1719 avancerede han til oberstløjtnant i Jyske nationale Rytterregiment, hvorefter han en tid gjorde tjeneste i Norge. Ved reduktionen 1721 efter krigens ophør trådte han ud af etaten og fik 1722 det indbringende embede som translatør ved Øresunds Toldkammer; 1724 blev han virkelig etatsråd.  Stiftamtmand i Norge og Danmark Men formodentlig har han ikke været på sin plads i dette embede; thi på grund af vægtige klager over ham forsatte Christian VI ham 1730 til Norge som stiftamtmand over Christianssands Stift og amtmand over Nedenæs Amt, hvorfra han imidlertid afgik 1738 og flyttede til Nyborg; her købte han et par gårde, men fraflyttede byen, da han 1746 blev udnævnt til stiftamtmand over Viborg Stift og amtmand over Hald Amt; 1747 fik han Dannebrogordenen. Han døde 6. august 1754 i Viborg, hvor han efterlod sig minde som en fortræffelig, men noget særsindet mand, der havde ondt ved at forliges med biskoppen og de gejstlige i almindelighed, til hvem han havde et godt øje. Han blev gift 1719 med Cathrine Ernestine Hausmann (12. februar 1692 - 30. maj 1760 i Nyborg), datter af generalløjtnant Caspar Herman Hausmann.