Sachverhalt: A. A._ ist lettischer Staatsangehöriger. Er beantragte mit Schreiben vom 21. Februar 2012 die "Aufnahme in das Justizdolmetscherverzeichnis Zürich" für die Sprache Lettisch. Mit Beschluss des Ausschusses der Fachgruppe/Zentralstelle Dolmetscherwesen des Obergerichts des Kantons Zürich (nachfolgend: Fachgruppe) vom 15. Juni 2012 wurde dieser Antrag abgewiesen. Einen gegen den negativen Entscheid gerichteten Rekurs an die Verwaltungskommission am Obergericht des Kantons Zürich lehnte diese am 4. Februar 2013 ab. B. Die Rekursinstanz begründete ihren Entscheid im Wesentlichen dahin gehend, A._ erfülle die persönlichen Voraussetzungen für eine Eintragung in das Dolmetscherverzeichnis nicht. Er verfüge erst seit Juli 2012 über eine Kurzaufenthaltsbewilligung. Weil er seinen Lebensmittelpunkt nicht in der Schweiz habe, sei nicht gewährleistet, dass er auch kurzfristig für Dolmetschereinsätze zur Verfügung stehe; aufgenommen werden könne nur, wer tatsächlich auch vor Ort Dolmetschereinsätze leisten könne. Die Verwaltungskommission am Obergericht des Kantons Zürich stellt sich überdies auf den Standpunkt, A._ könne keine Ansprüche aus dem Freizügigkeitsabkommen für sich ableiten. Da es sich bei der Dolmetschertätigkeit um eine hoheitliche Tätigkeit handle, sei das Freizügigkeitsabkommen zwischen der Schweiz, der Europäischen Union und ihren Mitgliedstaaten "nicht anwendbar". C. Mit Eingabe vom 16. Februar 2013 beantragt A._ dem Bundesgericht, der Beschluss der Verwaltungskommission am Obergericht des Kantons Zürich (Vorinstanz) vom 4. Februar 2013 sei aufzuheben. Die Fachgruppe sei in Anwendung des Freizügigkeitsabkommens mit der EU und ihren Mitgliedstaaten anzuweisen, ihn als Dolmetscher und Übersetzer in das Dolmetscherverzeichnis des Kantons Zürich aufzunehmen. Die Verwaltungskommission des Obergerichts des Kantons Zürich hat auf eine Vernehmlassung verzichtet. Die Fachgruppe Dolmetscherwesen weist darauf hin, dass sie A._ auch im Falle der Gutheissung der Beschwerde nicht ins Dolmetscherverzeichnis des Kantons Zürich eintragen könnte, da dieser bisher weder zu einem persönlichen Gespräch habe eingeladen werden können noch die erforderliche Prüfung absolviert habe. Lediglich das Aufnahmeverfahren könnte diesfalls wieder neu anhand genommen werden. 