Sachverhalt: A. Im Januar 2007 führte Y._, Revisorin des Steueramtes des Kantons Zürich, bei Rechtsanwalt X._ in Bassersdorf eine Prüfung der Geschäftsbücher der Geschäftsjahre 2003 bis 2005 durch. Am 18. Februar 2008 eröffnete das kantonale Steueramt X._ die Einschätzungsvorschläge für die Staats- und Gemeindesteuern sowie die direkte Bundessteuer; die steuerbaren Einkommen in den drei geprüften Jahren wurden festgesetzt auf Fr. 286'300.--, Fr. 446'700.-- und Fr. 1'004'300.--. Nach einer Besprechung mit der Revisorin liess das kantonale Steueramt dem Steuerpflichtigen im Juni 2008 korrigierte Einschätzungsvorschläge zukommen, worin die steuerbaren Einkommen auf Fr. 132'200.--, Fr. 134'700.-- und Fr. 503'200.-- festgesetzt waren. Am 10. November 2008 stellte X._ bei der Finanzdirektion des Kantons Zürich ein Ausstandsgesuch gegen die Revisorin und den Chef der Division Bücherrevision des kantonalen Steueramtes, welches abgewiesen wurde. Die von X._ dagegen ergriffenen kantonalen Rechtsmittel wurden von der kantonalen Steuerrekurskommission und vom Verwaltungsgericht des Kantons Zürich abgewiesen. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt X._ dem Bundesgericht, den Entscheid des Verwaltungsgerichts des Kantons Zürich vom 3. November 2010 aufzuheben und das Ausstandsbegehren gutzuheissen. Das kantonale Steueramt sowie die Finanzdirektion des Kantons Zürich haben auf eine Vernehmlassung verzichtet. Das Verwaltungsgericht des Kantons Zürich beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. 