Han blev født i København, hvor hans far Andreas Georg Drachmann (1810-1892) var kirurg ved Søetaten. Hans mor var Wilhelmine Marie Stæhr (1820-1857). Han blev uddannet maler, men digtekunsten vandt. 1868 drog Drachmann til Bornholm for at blive maler. Her fandt han Vilhelmine Erichsen, som han giftede sig med i 1871. Ægteskabet holdt til 1874. De blev skilt i 1878, hvorefter Vilhelmine giftede sig med Valdemar Hilarius-Kalkau, der adopterede Drachmanns datter Eva. Drachmann fik sit litterære gennembrud med digtsamlingen Digte (1872), min Ven Georg Brandes tilegnet. I den viste han revolutionære interesser (digtene Engelske Socialister, Den 28. november 1871 og King Mob). Han var kendt for de mange kvinder, som inspirerede hans digtning, og som ofte vakte skandale. Efter sin første skilsmisse indledte han et lidenskabeligt forhold til en gift kvinde, Polly. Han fik et barn med hende, men hun flygtede fra ham. I Hamburg mødte han en ung pige, Emmy, som han betroede sig til om sin hjertesorg. Emmy forelskede sig i ham uden at ane, at det var hendes søster, Polly, han talte om. Det fortalte han hende i et brev, og hun flygtede til England. De blev alligevel gift og adopterede hans datter med Polly. Selv fik de fire børn. Ægteskabet var vanskeligt, også på grund af dårlig økonomi, men de stod hinanden nær. I 1887 blev Emmy syg under sin sidste fødsel.  Samme år døde det ene barn af difteritis, og måske som en flugt forelskede Drachmann sig i syngepigen Amanda Nielsen, som han kaldte "Edith". Hun blev den mest betydningsfulde af hans mange muser. Emmy skrev fem år efter Drachmanns død deres historie ned i et kladdehefte og på nogle løse ark.  I "Edith" fortæller Emmy, hvordan hun vidste, at Drachmann ville forlade hende, skønt han intet sagde, og hvordan hun knapt kunne få sig til at følge ham til Hovedbanegården. Der udbrød han: "Emmy, tro mig, når jeg siger, at jeg kommer igen. Hører du – måske vil der gå et, måske to år. Men da vil jeg på en langt smukkere måde end før kunne sige: Jeg elsker dig". Det skete aldrig. Familien skænkede manuskriptet til "Edith" til Det Kongelige Bibliotek i 1990. Han foretrak Amanda Nielsen trods hendes fattige herkomst, gadesprog og tvivlsomme erhverv. Skilles fra Emmy ville han ikke: han holdt af sin familie og ville skåne den og sig selv for skandalen. Senere brød Amanda med ham for at gifte sig med en rig pølsemager, og fordi Drachmann havde fundet den norske visesangerinde Bokken Lasson, Oda Krohgs søster. Men hurtigt blev han fanget ind af Bokkens anden søster, den lunefulde og dominerende Soffi. Han adlød, da hun forlangte, at han skulle skilles fra Emmy (1903). Emmy overlevede Drachmann med tyve år. Hun blev 74 år. "Edith", som var 12 år yngre end Emmy, døde 87 år gammel i 1953. Hun fik ingen børn med Drachmann og misundte Emmy hendes. Soffi blev Drachmanns sidste kone, men langtfra hans sidste muse. Emmy bebrejdede sig, at hun havde trættet Drachmann med sin sorg:  "Jeg har grædt bitre og mange tårer for hans skyld, alt for mange ubeherskede – nu jeg er gammel og tårernes væld er tørknet – ser jeg min uforstand. Men så siger jeg dog: Begyndte livet forfra, jeg handlede på ganske samme måde – jeg lagde min hånd i hans og sagde, jeg tror på dig. Velsignet du, velsignet alle dage."  Han gæstede i en årrække Helsingør og Hornbæk, hvor han var en farverig person både i borgerskabets selskabsliv og blandt fiskere, da han fra barnsben havde interesse for søfart. Skagen var et andet af hans foretrukne opholdssteder. Skagen er særligt knyttet til hans navn. I 1883 brød Drachmann voldsomt med Brandes-bevægelsen, nærmede sig de konservative og optrådte den næste halve snes år som national, traditionel og forsvarsvenlig skribent. Fra denne periode stammer nogle af hans populæreste dramaer som Der var engang (1887). Fra begyndelsen af 1890'erne sluttede han sig atter til det Moderne Gennembrud uden dog at ændre sine emner stort.  Han blev Ridder af Dannebrog 1887 og Kommandør af 2. grad 1906.  Død Drachmann døde på Dr. E. Brünniches Privatklinik i Hornbæk og blev begravet i Skagen 26. januar 1908. Gravkammeret ligger på Grenen, og er tegnet af kunstnervennen P.S. Krøyer.  Drachmann og fiskerne Drachmann var fiskernes ven, hvilket især skyldtes én episode. Skagens redningsmand, Lars Kruse, blev i 1879 indstillet til Fortjenstmedaljen efter sit lange virke som formand for redningsflåden – og efter at have reddet omtrent 200 mænd fra druknedøden – men da han skulle modtage prisen, var den blevet sendt tilbage igen med en kort skrivelse: ”Lars Kruse var ikke nogen ’ærlig’ mand.” I 1844 havde den dengang 15-årige Lars Kruse solgt et stykke ”Blaatræ”, der var strandingsgods, og blev sammen med sine tre venner stillet for dommeren og straffet med pisk. Denne forseelse gjorde, at Kruse ikke kunne modtage sin medalje mange år efter. Drachmann skrev til byfogeden og talte Kruses sag. Brevet fra 22. juni 1879 slutter: ”Hvis min blotte Opfordring i disse Linjer imidlertid skulle vise sig utilstrækkelig, da agter jeg at opbyde al min Energi og den Indflydelse jeg øver i den danske og skandinaviske Presse til Bedste for en så værdig Client, og jeg skulde da meget beklage om jeg, ved at sprede lys i denne Sag, tillige kom til at berøre mulige tilgrændsende Skygger i Hr. Byfogedens Jurisdiction og i de sociale Forhold paa Skagen”. Kruse fik sin medalje samme efterår. Efter denne sag gav fiskerne Drachmann  kælenavnet: Store Tummel Drachmanns egen beretning om Lars Kruse står i ”Drachmanns samlede poetiske skrifter”, bd. 4  Familie Holger var lillebror til pædagog og kvindesagsforkæmper Erna Juel-Hansen, halvbror til klassisk filolog Anders Bjørn Drachmann og fætter til politikeren Viggo Hørup, samt Viggos kone, viceskoleinspektøren Emma Hørup, og elskerinde lærer Henriette Steen.