Holstein var 1848-57 medlem af og 1854-57 formand for sogneforstanderskabet, 1853 medlem af Sundhedskommissionen, 1856-77 medlem af Københavns Amtsråd, 1858-78 medlem af bestyrelsen i Landbygningernes almindelige Brandforsikring og 1859-77 landvæsenskommissær.