Sachverhalt: A. X._ erwarb am 23. September 2002 gemeinsam mit vier weiteren Personen von der Bank A._ sämtliche 430 Aktien der Immobiliengesellschaft I._ AG; diese ist Eigentümerin mehrerer Liegenschaften in Olten. Von seinem Anteil von insgesamt 65 Namenaktien verkaufte X._ am 29. November 2002 22 Aktien der B._ AG. Die Veranlagungsbehörde Olten-Gösgen erhielt davon im Dezember 2007 Kenntnis. Mit definitiver Veranlagung vom 19. Dezember 2007 auferlegte sie X._ für den "Verkauf von 15 % der Beteiligungsrechte an der Immobiliengesellschaft I._" eine Grundstückgewinnsteuer von Fr. 181'782.-- (einfache Steuer Fr. 75'742.--); als Käuferin wird die Bank A._ angeführt. Die Veranlagungsbehörde ging dabei irrtümlicherweise davon aus, dass X._ am 23. September 2002 seinen ganzen Aktienanteil von 65 Aktien - entsprechend 15 % der gesamten Aktien - an die Bank A._ verkauft habe. Verkauft hatte dieser jedoch nur 22 Aktien, und zwar am 29. November 2002 an die B._ AG. Mit Einsprache vom 25. Januar 2008 machte X._ geltend, es sei anzunehmen, dass wohl der Weiterverkauf der 22 Aktien vom 29. November 2002 hätte erfasst werden sollen, weshalb die Grundstückgewinnsteuer auf Fr. 50'285.-- herabzusetzen sei. Die Veranlagungsbehörde trat auf die Einsprache nicht ein, da diese verspätet sei. Nach einem erfolglosen und einem inzwischen zurückgezogenen Wiedererwägungsgesuch erhob X._ - ebenfalls ohne Erfolg - Rekurs beim Kantonalen Steuergericht Solothurn. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt X._ dem Bundesgericht, die Nichtigkeit der Veranlagungsverfügung festzustellen und das Urteil des Kantonalen Steuergerichts Solothurn vom 23. März 2009 aufzuheben. Das Kantonale Steuergericht Solothurn beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Die Eidgenössische Steuerverwaltung hat auf eine Stellungnahme verzichtet. 