Sachverhalt: A. Der italienische Staatsangehörige X._, der zunächst in seiner Heimat als Anwalt ("Avvocato") zugelassen wurde, ist im Kanton Zürich in der öffentlichen Liste der Anwälte aus den Mitgliedstaaten der EU und EFTA, die in der Schweiz unter ihrer ursprünglichen Berufsbezeichnung ständig Parteien vor Gerichtsbehörden vertreten dürfen, eingetragen. Ende Mai 2008 beauftragte ihn sein in der Schweiz niedergelassener Landsmann Y._ - zusätzlich zu anderen Anwälten - mit der Wahrnehmung seiner Interessen. Im September 2008 verzeigte er ihn bei der Aufsichtskommission über die Anwältinnen und Anwälte des Kantons Zürich (im Folgenden: Aufsichtskommission) unter anderem wegen seiner Vorgehensweise bei der Rechnungsstellung und bei der Rückgabe der Klientenakten. Am 1. Oktober 2009 beschloss die Aufsichtskommission, X._ mit einer Busse von Fr. 4'000.-- zu belegen. Sie warf ihm vor, zum einen durch unklare Abmachungen sowie mangelnde Aufklärung bezüglich des Honorars, zum anderen durch die Verweigerung der detaillierten Rechnungsstellung und schliesslich durch mangelnde Sorgfalt bei der Rückgabe der Anwaltsakten seine Pflichten als Anwalt gegenüber Y._ verletzt zu haben. Die von X._ dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zürich am 11. Februar 2010 ab. B. X._ hat am 24. März 2010 beim Bundesgericht Beschwerde eingereicht mit dem Antrag, den Entscheid des Verwaltungsgerichts aufzuheben und dieses anzuweisen, den Beschluss der Aufsichtskommission vom 1. Oktober 2009 ebenfalls aufzuheben. Eventualiter sei die Sache an die Vorinstanz zurückzuweisen mit der Anweisung, ihm bloss eine Verwarnung oder einen Verweis zu erteilen oder subeventuell die Busse zu reduzieren. C. Das gleichzeitig mit der Beschwerde gestellte Gesuch um Sistierung des bundesgerichtlichen Verfahrens, bis "die damit zusammen hängende Strafuntersuchung der Staatsanwaltschaft Zürich-Sihl" rechtskräftig abgeschlossen wurde, hat der Präsident der II. öffentlich-rechtlichen Abteilung mit Verfügung vom 25. Juni 2010 abgewiesen. D. Das Verwaltungsgericht beantragt mit Eingabe vom 20. Juli 2010, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Die Aufsichtskommission hat auf eine Vernehmlassung und einen Antrag verzichtet. E. Innert erstreckter Frist zur Replik hat sich X._ am 6. Oktober 2010 ergänzend unter Hinweis auf das von ihm eingereichte Protokoll der Staatsanwaltschaft Zürich-Sihl vom 2. Juni 2010 über die Einvernahme des Zeugen Z._ geäussert. Er hält an seinen Anträgen fest und ersucht erneut um Sistierung des bundesgerichtlichen Verfahrens. 