Han var søn af kaptajn og kammerjunker Carl Adolph von Holstein (1779-1817) og Louise Magdalene født Scheidemann (1784-1828). Han gik fra 1829 til 1832 på Landkadetakademiet, men blev ikke officer. Holstein arbejdede som forvalter og handelskontorist og blev sener ejer af Dyrehavegård. Han fik titel af jægermester. Holstein var 1848-57 medlem af og 1854-57 formand for sogneforstanderskabet, 1853 medlem af Sundhedskommissionen, 1856-77 medlem af Københavns Amtsråd, 1858-78 medlem af bestyrelsen i Landbygningernes almindelige Brandforsikring og 1859-77 landvæsenskommissær. Han blev valgt til Folketinget i Københavns Amts 2. valgkreds (Lyngbykredsen) 7. juni 1864 og atter ved valget 4. juni 1866. Men ved valget den 12. oktober 1866 måtte Holstein se sig slået med 150 stemmer af gårdejer Peder Hansen fra Øverød. Han var desuden 5. marts 1864 til 1866 medlem af Rigsrådets Folketing. Han var oprindeligt valgt som venstremand, men senere nærmest konservativ på grund af grundlovsdiskussionen 1866.  Ægteskaber Han ægtede første gang 25. oktober 1844 i Lyngby Thora Amalie Modeweg (27. maj 1823 i Brede - 25. marts 1862 på Dyrehavegård), datter af klædefabrikant Johan Carl Modeweg og Magdalene Lovise Bock, og siden (9. maj 1866) Charlotte Frederikke komtesse Knuth (19. december 1830 på Bonderup - 15. juli 1883 i Lyngby), datter af stiftamtmand, greve Julius Knuth.