Sachverhalt: A. X._ wurde mit Verfügung vom 31. August 2009 vom Kantonalen Steueramt Zürich für die direkte Bundessteuer 2008 mit einem steuerbaren Einkommen von Fr. 154'800.-- veranlagt. Dagegen erhob er am 3. September 2009 Einsprache, die am 1. Oktober 2009 abgewiesen wurde. Am 9. April 2010 versandte das kantonale Steueramt die "Rechnung aufgrund des Einspracheverfahrens" für die direkte Bundessteuer 2008. Gegen diese gelangte X._ am 14. April 2010 mit Beschwerde an die kantonale Steuerrekurskommission, wobei er geltend machte, der Einspracheentscheid sei ihm nicht zugestellt worden. Am 9. Juni 2010 trat der Einzelrichter der Steuerrekurskommission auf die Beschwerde infolge Verspätung nicht ein. Die gegen diese Verfügung gerichtete Beschwerde von X._ wurde vom Verwaltungsgericht des Kantons Zürich am 25. August 2010 abgewiesen. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt X._ dem Bundesgericht, den erwähnten Entscheid des Verwaltungsgerichts aufzuheben und die Rekurskommission anzuweisen, auf die Beschwerde einzutreten und sie materiell zu beurteilen. Das kantonale Steueramt stellt den Antrag, die Beschwerde abzuweisen. Das Verwaltungsgericht des Kantons Zürich schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. In seiner Replik zu den Eingaben der kantonalen Instanzen hat der Beschwerdeführer an seinen Begehren festgehalten. Auf eine Vernehmlassung zu dieser Stellungnahme haben das Verwaltungsgericht und das kantonale Steueramt verzichtet. 