I 1858 overtog Heinrich Hirschsprung sammen med sin bror Bernhard ansvaret for familiefirmaet. I 1864 giftede han sig med Pauline Elisabeth Jacobson (1845-1912), der kom fra en velhavende jødisk familie. I 1866 byggede firmaet en tobaksfabrik i Tordenskjoldsgade, og der blev indrettet et nyt tobaksudsalg på Østergade 8. Tobaksfabrikationen gjorde ham til en velhavende mand og gav ham mulighed for at indkøbe kunst og støtte kunstnere med rejselegater og lignende. I 1899 blev virksomheden omdannet til aktieselskab og Heinrich Hirschsprung trak sig ud af den daglige drift og helligede sig helt sin kunstsamling.  Kunstsamler Hirschsprung købte sit første maleri i 1866, Julius Exners Lille pige, der lader en gammel mand lugte til en blomst og fra 1872 begyndte han for alvor på sin kunstsamling. Guldalderen var forbi, og Hirschsprung fulgte i stedet sin interesse for genrebilleder og fortællende kunst, og havde knyttet venskab med malerne Frederik Vermehren og Otto Bache og kunsthistorikeren Julius Lange. Den gamle mester Wilhelm Marstrand var også en af hans rådgivere til sin død i 1873, og foruden genrebillederne begyndte Hirschsprung senere i 1870'erne at købe guldalderkunst af C.W. Eckersberg og J.Th. Lundbye. Heinrich Hirschsprung fulgte med i, hvad der rørte sig i tidens europæiske malerkunst - især den franske - og i 1878 sørgede han for, at en række kunstnere fik rejselegater til Verdensudstillingen i Paris. Maleren P.S. Krøyer var også i Paris, og Hirschsprung stillede midler til rådighed, så han også fik mulighed for at fortsætte rejsen til Italien, hvor Krøyer malede nogle af de billeder, der gav ham et internationalt gennembrud. Hirschsprung og Krøyer var venner resten af deres levetid, og familierne besøgte jævnligt hinanden. Hirschsprung sørgede med en række bestillinger for, at Krøyer havde arbejde, og da Krøyer var blevet gift med Marie Triepcke, hjalp han til med at løse boligproblemer og skaffe kokkepiger. I 1880'erne købte Hirschsprung en række værker af unge kunstnere som Godfred Christensen, Viggo Johansen, Anna Ancher, Michael Ancher, Thorvald Niss, Erik Henningsen, Julius Paulsen, Joakim Skovgaard, Theodor Philipsen og Kristian Zahrtmann. Da der i 1888 blev holdt Nordisk Kunst- og Industriudstilling i København, udstillede Hirschrsprung for første gang nogle af sine værker for offentligheden, og fra det tidspunkt arbejdede ham med tanken om, at samlingen på sigt skulle overgå til offentligt eje. I slutningen af 1890'erne lærte han kunsthistorikeren Emil Hannover at kende, og i samråd med ham fik Hirschsprung tilpasset samlingen til museumsbrug: En række mindre betydningsfulde billeder blev solgt fra, og i stedet blev samlingen kompletteret med andre, mere væsentlige værker. I 1902 offentliggjorde Hirschsprung planerne om at skænke værkerne til staten, på betingelse af, at der blev opført et museum til den, som det var sket med Carl Jacobsens samling og Ny Carlsberg Glyptotek. I 1907 var alle aftaler på plads og byggeriet af kunstmuseet blev indledt. I 1911 indviedes professor H.B. Storcks klassicistiske bygning, der rummer Den Hirschsprungske Samling, i Østre Anlæg i København. Heinrich Hirschsprung nåede aldrig at se det færdige museum (han døde i 1908), men det gjorde hustruen Pauline, der levede til 1912. Han er begravet på Mosaisk Vestre Begravelsesplads.