Sachverhalt: A. A.a Eine von der Staatsanwaltschaft I des Kantons Zürich gegen Rechtsanwalt Dr. X._ eingeleitete Strafuntersuchung wurde am 29. August 2005 eingestellt. Nachdem Rechtsanwalt X._ Einsicht in die betreffenden Strafakten erhalten hatte, behielt er einen Teil derselben in den Räumlichkeiten seines Advokaturbüros zurück. Sein Vorgehen begründete er damit, die fraglichen Unterlagen seien von den Untersuchungsbehörden illegal beschafft worden und gefährdeten, weil sie einen "praktisch vollständigen Klientenspiegel" enthielten, das Anwaltsgeheimnis (vgl. E. 2.2). Die Verfügung der Staatsanwaltschaft I des Kantons Zürich vom 25. Oktober 2005, mit welcher Rechtsanwalt X._ zur Rückgabe der Akten innert zehn Tagen verpflichtet wurde, focht dieser erfolglos bei der Oberstaatsanwaltschaft des Kantons Zürich (Entscheid vom 12. Mai 2006) und anschliessend - mit staatsrechtlicher Beschwerde - beim Bundesgericht an (Urteil 1P.375/2006 vom 24. August 2006). A.b In der Folge verlangte die Staatsanwaltschaft erneut die Aktenrückgabe (Schreiben vom 5. September 2006), welcher Aufforderung der Beschwerdeführer erst am 2. Oktober 2006 - innert erstreckter Frist - Folge leistete. Er beantragte gleichzeitig, die zurückgegebenen Akten seien ihm herauszugeben und es sei festzustellen, dass ihre Beschaffung rechtswidrig erfolgt sei. Beide Begehren wurden von der Staatsanwaltschaft I des Kantons Zürich abgewiesen (Verfügung vom 10. Oktober 2006), was das Bezirksgericht Zürich auf Rekurs hin schützte (Entscheid vom 24. Januar 2007). Das in der Folge angerufene Bundesgericht wies die Beschwerde in Strafsachen ab, soweit es darauf eintrat, weil die Edition der streitbetroffenen Akten durch die Untersuchungsbehörden nicht widerrechtlich erfolgt sei (Urteil 6B_104/ 2007 vom 23. Juli 2007). B. Die Oberstaatsanwaltschaft des Kantons Zürich erstattete am 10. Oktober 2006 Disziplinaranzeige gegen Rechtsanwalt Dr. X._ wegen dessen Weigerung, den Strafuntersuchungsbehörden die ihm von diesen ausgehändigten Akten vollständig zurückzugeben. Die Aufsichtskommission über die Anwältinnen und Anwälte im Kanton Zürich kam zum Schluss, dass Rechtsanwalt X._ gegen Art. 12 lit. a des Bundesgesetzes vom 23. Juni 2000 über die Freizügigkeit der Anwältinnen und Anwälte (Anwaltsgesetz, BGFA; SR 935.61) verstossen habe, und auferlegte ihm eine Busse von 1'000 Franken (Beschluss vom 1. Februar 2007). Hiergegen gelangte Rechtsanwalt X._ erfolglos an das Verwaltungsgericht des Kantons Zürich (Entscheid vom 10. Mai 2007). C. Am 9. Juli 2007 hat Rechtsanwalt Dr. X._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten eingereicht mit dem Antrag, den Entscheid des Verwaltungsgerichts sowie den Beschluss der Aufsichtskommission aufzuheben; von einer Sanktion sei abzusehen, eventuell bloss eine Verwarnung auszusprechen. Das Verwaltungsgericht des Kantons Zürich schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei, während die Aufsichtskommission über die Anwältinnen und Anwälte im Kanton Zürich und das Bundesamt für Justiz auf Stellungnahme verzichtet haben. D. Mit Verfügung vom 12. Juli 2007 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts die vom Beschwerdeführer gestellten Gesuche um Sistierung des vorliegenden Verfahrens einerseits und um dessen Vereinigung mit dem Verfahren 6B_104/2007 (betreffend Feststellung der Rechtswidrigkeit der Aktenbeschaffung durch die Zürcher Staatsanwaltschaft) andererseits abgewiesen. 