Sachverhalt: A. Im Jahre 1995 erlitt Y._ einen Verkehrsunfall. Rechtsanwalt Dr. X._ vertrat sie gegenüber der Z._ Versicherung, die Haftpflichtversicherer des Fahrzeugs des Unfallverursachers ist. Ein von Y._ gegen die Z._ Versicherung beim Handelsgericht des Kantons Zürich angestrengter Forderungsprozess wurde am 30. November 2006 als durch Vergleich erledigt abgeschrieben. Der tags zuvor abgeschlossene Vergleich enthielt unter der Ziffer 3 folgende Klausel: "Die Parteien verpflichten sich gegenseitig, diese Vereinbarung gegenüber jedermann streng vertraulich zu behandeln." Im Zusammenhang mit dem Unfall hat die Schweizerische Unfallversicherungsanstalt (SUVA) Y._ gesetzlich vorgeschriebene Leistungen erbracht. Sie verhandelte erfolglos mit der Z._ Versicherung, bei welcher sie Regressforderungen geltend machte. Schliesslich wandte sie sich zwecks Prozessvertretung an X._. Y._ entband diesen hierfür am 15. Oktober 2008 vom Anwaltsgeheimnis. X._ nahm das Mandat der SUVA an und reichte am 27. Februar 2009 in deren Namen Klage auf Bezahlung der Regressforderungen gegen die Z._ Versicherung ein. Am 4. Mai 2009 zeigte die Z._ Versicherung bei der Aufsichtskommission über die Anwältinnen und Anwälte des Kantons Zürich X._ an, weil er das Mandat der SUVA trotz der Vertraulichkeitsklausel, die im Vergleich mit Y._ vereinbart worden war, angenommen habe. Mit Beschluss vom 6. Mai 2010 bestrafte die Aufsichtskommission X._ wegen Verletzung von Art. 12 lit. a des Bundesgesetzes vom 23. Juni 2000 über die Freizügigkeit der Anwältinnen und Anwälte (Anwaltsgesetz, BGFA; SR 935.61) mit einer Busse von Fr. 2'500.--. Das dagegen erhobene Rechtsmittel wies das Verwaltungsgericht des Kantons Zürich am 23. September 2010 ab. B. Mit Beschwerde vom 17. November 2010 beantragt X._ dem Bundesgericht, das Urteil des Verwaltungsgerichts und den Bussenentscheid der Aufsichtskommission aufzuheben und festzustellen, dass keine Verletzung von Art. 12 lit. a BGFA vorliege. Eventualiter sei die Busse in einen Verweis umzuwandeln oder "massiv" herabzusetzen. C. Das Verwaltungsgericht stellt den Antrag, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Die Aufsichtskommission beantragt die Bestätigung des Entscheids des Verwaltungsgerichts. D. Das Bundesgericht hat die Angelegenheit am 17. Juni 2011 öffentlich beraten. 