Sachverhalt: A. X._ (geb. 1957) ist in A._ (ZH) - seinen Angaben zufolge - seit 1999 als Heilpraktiker tätig. Am 4. Dezember 2007 bescheinigte ihm das Departement Gesundheit des Kantons Appenzell Ausserrhoden, dass er die Zulassungsprüfung als Heilpraktiker mit Erfolg bestanden habe und die gesetzlichen Voraussetzungen für die Ausübung des Heilpraktikerberufes erfülle. Somit sei er berechtigt, diese Tätigkeit im Kanton Appenzell Ausserrhoden auszuüben und dabei die Bezeichnung "kantonal approbierter Heilpraktiker" in seinen Auskündungen zu führen. Am 20. Dezember 2007 bewilligte das erwähnte Departement X._ auch die Durchführung von intra- und subkutanen Injektionen im Kanton Appenzell Ausserrhoden. B. Am 24. Dezember 2008 ersuchte X._ die Gesundheitsdirektion des Kantons Zürich, seine Approbation als Heilpraktiker mit Injektionsbewilligung des Kantons Appenzell Ausserrhoden im Kanton Zürich vollumfänglich anzuerkennen und ihm insoweit die selbständige Berufsausübung zu bewilligen. Am 30. März 2009 wies die Gesundheitsdirektion das Gesuch ab. Es hielt gleichzeitig fest, dass X._ die heilpraktische Tätigkeit im bewilligungsfreien Bereich weiterhin gestattet sei. X._ wandte sich gegen die Verfügung der Gesundheitsdirektion erfolglos an das Verwaltungsgericht des Kantons Zürich. C. Mit Beschwerde vom 22. Januar 2010 stellt X._ dem Bundesgericht das Rechtsbegehren, das in dieser Sache zuletzt ergangene Urteil des Verwaltungsgerichts vom 5. November 2009 aufzuheben. Wie bei der Vorinstanz beantragt er zudem, seine Approbation als Heilpraktiker mit Injektionsbewilligung des Kantons Appenzell Ausserrhoden im Kanton Zürich anzuerkennen und damit die selbständige Verrichtung heilpraktischer Tätigkeiten mindestens im gleichen Umfange zu bewilligen, insbesondere "intra- und subkutane Injektionen (Stoffinjektionen), Entnahme von Blutproben, Ausübung der Akupunktur und Diagnostik und Differentialdiagnostik im für die Heilpraxis erforderlichen Rahmen". Eventuell sei die Sache zu neuer Beurteilung an die Vorinstanz zurückzuweisen. Die Gesundheitsdirektion und das Verwaltungsgericht des Kantons Zürich stellen den Antrag, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Binnen der vom Bundesgericht auf Antrag eingeräumten Frist nahm X._ am 30. April 2010 zur Vernehmlassung der Vorinstanzen Stellung. Die Gesundheitsdirektion und das Verwaltungsgericht verzichteten in der Folge auf eine weitere Stellungnahme. 