Bagger blev født i Lund, hvor faderen, Oluf Bagger, dengang var lektor ved gymnasiet og senere blev professor teologiæ ved det nyoprettede universitet. Moderen, Maria Lauridsdatter, døde, da han var fire år gammel. 1656 blev han sat i latinskolen i Lund. 1663 sendte faderen ham til Københavns Universitet, men efter opfordring af biskop Peder Winstrup i Lund lod han sig kort efter indskrive som student ved Greifswald Universitet, der dengang hørte under den svenske krone.  Studier i Rostock, Wittenberg, Oxford, Cambridge og Holland Efter et halvt års forløb rejste han til Rostock, hvor han fortsatte sine studier under de bekendte teologer August Varenius og Johann Qvistorp, og 1664 vendte han tilbage til København, hvor han blev bakkalavr, bachelor. Her synes han at have været særlig begunstiget, enten fordi han som skåning holdt fast ved sit gamle fædreland, eller fordi han – hvad der er den naturligste forklaring – havde en god støtte i sit søskendebarn, professor Hans Wandal, og med rejseunderstøttelse fra universitetet drog han 1666 til Wittenberg, hvor den lærde teolog Abraham Calovius tog ham i sit hus. Han havde lagt planen til en længere studierejse, da faderen kaldte ham hjem, for at han kunne være tilstede ved indvielsen af det Skånske Universitet 1668. Men han trak tiden ud og kom først 1669 tilbage til Lund, hvor han tog magistergraden. Hans kæreste forbindelser var dog i Danmark, hvor han søgte ansættelse ved universitetet. Men alle lærerposter var dengang besat, og den svenske regering gjorde alt for at få ham knyttet til Lund. Han blev kaldet til professor philosophiae og konrektor ved katedralskolen i sin fødeby, men søgte så hurtig som muligt at frigøre sig for denne virksomhed, og da der 1672 sendtes et svensk gesandtskab til England, fik han tilladelse til at følge med for at studere de orientalske sprog i Oxford og Cambridge.  Biskop over Sjælland som kun 29-årig, 1675 Året efter fik han befaling til at vende tilbage og optage sin embedsgerning. Han trak dog atter tiden ud og kom først hjem 1674 efter et længere ophold i Holland, men allerede 4. april samme år blev han af Christian 5. kaldet til sognepræst ved Vor Frue Kirke i København, stiftsprovst og provst for Sokkelund Herred. Hans slægtning Hans Wandal var dengang Sjællands biskop. 12. november 1674 ægtede han sin forgængers, Jacob Fabers, unge enke, Margrethe Schumacher, Peder Griffenfelds søster. Han blev således svoger til Danmarks dengang mest formående mand, hvem han også skylder sin sidste mærkelige forfremmelse: 1. maj 1675 døde biskop Hans Wandal, og Bagger blev udnævnt til hans efterfølger, kun 29 år gammel. Efter at han var bleven kreeret til dr. theol., ordineredes han 27. juni i Vor Frue Kirke.  Familieforhold vender medvind til modvind Hidtil havde Bagger haft en mærkbar medvind. Fra nu af blev hans stilling vanskelig. Satiren skånede ham ikke, uvilje og misundelse fra gejstlighedens side hæmmede hans virksomhed, og førend hans første embedsår var udløbet, blev Peder Griffenfeld styrtet. Skønt Bagger under de daværende forhold ikke kunne støtte sig til det herskende hofparti, forstod han dog at hævde sin stilling. Han kunne ikke gøre sig gældende ved lærdom eller veltalenhed, for i ingen af disse henseender ragede han frem over sine standsfæller; men han var i besiddelse af en sjælden administrativ dygtighed, og til en sådan stilledes der netop særlige krav på en tid, da der på kirkens område fremkom en række forslag til administrationens omordning.  Administrativ dygtighed, kirkeritual, store bededag Han deltog i den sidste revision af Danske Lovs 2. bog. Hans navn er særlig knyttet til et forbedret kirkeritual, der udkom 1686, og 27. marts samme år udgik forordningen om ophævelsen af de mange enkelte bededage, der samledes i den almindelige bededag, store bededag, på 4. fredag efter Påsken. I denne forandring havde Bagger en væsentlig del, og han udarbejdede selv bededagsbønnen, der giver et smukt vidnesbyrd om hans evne til at tale til menigheden i et jævnt og ligefremt sprog. I 1688 udgav han en alterbog, der skulde tjene som håndbog for præsterne. Fortalen, hvormed han indledede den, indeholder et udførligt forsvar for den kirkelige ritus. Den blev oversat til engelsk og vandt fortjent anerkendelse i udlandet. Han forberedte desuden udgivelsen af en forklaring til Martin Luthers lille Katekismus til vejledning for præster og skolelærere, men døden afbrød dette arbejde. Bagger står som ordfører for en tid, hvis særkende var religiøs ufordragelighed, og hans nidkærhed for den lutherske ortodoksi drev ham ofte til yderligheder, særlig over for de reformerte, som regeringen indrømmede en begrænset religionsfrihed, dels fordi de var Dronning Charlotte Amalies trosfæller, og dels af statsøkonomiske hensyn. Også katolikernes forsøg på at vinde indgang mødte alvorlig modstand fra hans side og fremkaldte en brevveksling imellem ham og kardinal Albani, den senere pave Clemens XI. Den førtes dog med stor humanitet fra begge sider og fortsattes igennem en længere årrække. Bagger døde 30. august 1693, kun 47 år gammel. Efter Margrethe Schumachers død (1690) havde han 30. april 1691 ægtet Søster Svane, datter af ærkebiskop Hans Svane og enke efter kancelliråd Chr. A. Walter.