Sachverhalt: A. X._ (geb. 1959) schoss am 27. September 2008 als Jagdgast im Revier A._ nachts ab einem Hochsitz unter Verwendung einer künstlichen Lichtquelle mehrmals vermeintlich auf einen Sika-Hirsch, erlegte dabei jedoch vier Rehe. Die Bejagung von Rehwild mit solchen Methoden ist im Kanton Zürich verboten, weshalb ihm das Statthalteramt Bülach wegen Übertretung der Jagdgesetzgebung eine Busse von Fr. 1'500.-- auferlegte. Das kantonale Amt für Landschaft und Natur entzog ihm in der Folge den zürcherischen Jagdpächter- und Jagdaufseherpass für die Dauer von drei Jahren sowie den Jagdfähigkeitsausweis als Jagdaufseher und den Fähigkeitsausweis als Jäger; zudem ordnete es Wiederholungen der entsprechenden Prüfungen an. Auf Rekurs von X._ hin bestätigte die Baudirektion des Kantons Zürich diese Verfügung. Die von X._ dagegen gerichtete Beschwerde wurde vom Verwaltungsgericht des Kantons Zürich in Bezug auf die Dauer des Ausschlusses vom Besitz des Jagdpasses wegen Verletzung des rechtlichen Gehörs gutgeheissen und an die Vorinstanz zurückgewiesen; im Übrigen wurde die Beschwerde abgewiesen. Nach Wiederaufnahme des Verfahrens wies die Baudirektion des Kantons den Rekurs erneut ab. Die gegen diesen Entscheid von X._ erhobene Beschwerde wurde am 6. April 2011 vom Verwaltungsgericht des Kantons Zürich abgewiesen. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt X._ dem Bundesgericht, den erwähnten Entscheid des Verwaltungsgerichts des Kantons Zürich aufzuheben und die Sache zur neuen Beurteilung an die Vorinstanz zurückzuweisen. Die Baudirektion und das Amt für Landschaft und Natur des Kantons Zürich beantragen die Abweisung der Beschwerde. Das Verwaltungsgericht des Kantons Zürich hat auf eine Vernehmlassung verzichtet. 