Madison blev født Hollin Sue Cullen i Oregon, og er den ældste af tre søskende. Madison voksede op i Alaska, før hendes familie flyttede tilbage til Oregon. I 1999 flyttede Madison til Los Angeles. Her arbejdede Madison som Hawaiian Tropic model og servitrice på restaurantkæden Hooters. Hun blev derfor bemærket og begyndte at modtage invitationer til Playboy Mansion. Efter at have besøgt The Mansion i mere end et år, blev Madison inviteret til at flytte ind. Dermed blev hun en af Hugh Hefners syv officielle kærester i august 2001.  Karriere Madison er bedst kendt for, at være Hefner's kæreste, og for hendes medvirken i E! TV-serien The Girls Next Door. Sammen med hendes co-stars Bridget Marquardt og Kendra Wilkinson var Madison på forsiden og inde i november 2005-udgaven af Playboy magasin. Madison var igen på forsiden i september 2006, marts 2008 og februar 2009. Selv om Madison har været en model for Playboy flere gange, har hun aldrig været en Playmate. Madison er en selvudnævnt dyreven, og begyndte at skrive artikler om kæledyr i 2006 for en vens tidsskrift. I april 2007 kunne man opleve Madison afbilledet nøgen i en anti-pels reklame for PETA. Madison er stjernen i hendes eget reality-show Holly's World på E!. Serien omhandler Madisons liv i Las Vegas, hvor hun, indtil 2012, var stjerne i burlesque-showet Peep Show.