I 1664 blev der efter dekret fra kong Frederik III anlagt en ny gravplads uden for den såkaldte demarkationslinje, dvs. udenfor det område op mod Københavns volde, der af militære hensyn skulle fritholdes for bebyggelse m.v. Nogenlunde samtidig med anlæggelsen af Soldaterkirkegården anlagde man også Skibskirkegården, den nuværende Holmens Kirkegård. Således havde hæren og flåden særlige begravelsespladser. Skibskirkegården blev lagt under flådens kirke, Holmens Kirke, men en tilsvarende ordning fandtes ikke for soldaterkirkegården. Det valgte område var dog ganske uegnet til formålet. Det er gammel strandeng, hvor grundvandet stod så højt, at det var svært at få ligene anbragt dybt nok nede. I 1671 gjorde man dog visse forbedringer ved at indhegne området med palisader og grave grøfter. 13. juli 1671 var der officel indvielse af kirkegården. Den var dog ikke særlig benyttet de første årtier. I 1706 indviedes den nye Garnisonskirke ved Sankt Annæ Plads, hvorfor de mest velbeslåede ønskede enten at blive jordet inde i selve kirken, eller på den tilhørende kirkegård tæt op ad kirkens mure.  Pestkirkegård Men efterhånden var det dog ikke kun fattige menige, der blev begravet på kirkegården udenfor voldene. Man hører om problemer med en giftig stank i området, da de mange lig var lagt med for lidt jord over sig. I 1711 blev København angrebet af en frygtelig pestepidemi, der dræbte 23.000 københavnere. På grund af smittefaren skulle alle pestdøde være begravede indenfor 24 timer, uden nogen former for ceremoniel. Man blev nødt til at etablere endnu en kirkegård, Den kommunale Pestkirkegård klods op ad Garnisonskirkegården for at få plads til de mange lig. På grund af pesten var det ikke kun militærpersonel, der blev jordfæstet her. Men først fra 1720 anvendtes Garnisons Kirkegård regelmæssigt som almindelig kirkegård. Navnet Garnisons Kirkegård har været anvendt siden 1728.  Kirkegården i dag Garnisons Kirkegård er stadig præget af, at det er soldaternes kirkegård. Den er en selvstændig, menighedsrådsdrevet kirkegård underlagt Hærens øverste myndighed.