Sachverhalt: A. A.a. Mit Urteil vom 15. September 2011 sprach das Obergericht des Kantons Zug den im Anwaltsregister des Kantons Zug eingetragenen Rechtsanwalt X._ der qualifizierten Geldwäscherei (Art. 305bis Ziff. 2 StGB) schuldig und bestrafte ihn mit einer Geldstrafe von 125 Tagessätzen zu Fr. 400.- unter Gewährung des bedingten Strafvollzugs bei einer Probezeit von zwei Jahren, sowie mit einer unbedingten Geldstrafe von 25 Tagessätzen zu Fr. 400.--. Das Bundesgericht wies eine dagegen erhobene Beschwerde am 7. Februar 2012 ab, soweit es darauf eintrat (Urteil 6B_676/2011). A.b. Aufgrund dieser Verurteilung eröffnete die Aufsichtskommission über die Rechtsanwälte des Kantons Zug gestützt auf Art. 8 Abs. 1 lit. b i.V.m. Art. 9 des Bundesgesetzes vom 23. Juni 2000 über die Freizügigkeit der Anwältinnen und Anwälte (Anwaltsgesetz, BGFA, SR 935.61) ein Verfahren, in dessen Verlauf X._ verschiedene ärztliche Atteste einreichte und die Aufsichtskommission ein Gutachten des stellvertretenden Kantonsarztes einholte. Am 23. Januar 2012 beschloss die Aufsichtskommission, dass der Eintrag von Rechtsanwalt X._ im Anwaltsregister gelöscht werde. Gleichzeitig stellte sie fest, dass die Urkundsberechtigung von Rechtsanwalt X._ dahingefallen sei. Zur Begründung führte sie aus, X._ sei nicht mehr handlungsfähig, weshalb sein Eintrag im Anwaltsregister gemäss Art. 8 Abs. 1 lit. a i.V.m. Art. 9 BGFA zu löschen sei. B. Mit Urteil vom 4. April 2013 wies das Obergericht des Kantons Zug eine dagegen erhobene Beschwerde von Rechtsanwalt X._ ab. C. X._ erhebt mit Eingabe vom 8. Mai 2013 beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, das Urteil des Obergerichts vom 4. April 2013 sei aufzuheben. Die Aufsichtskommission über die Rechtsanwälte beantragt Abweisung der Beschwerde. Das Obergericht verzichtet auf Vernehmlassung. Mit Verfügung des Präsidenten der II. öffentlich-rechtlichen Abteilung des Bundesgerichts vom 10. Juni 2013 wurde der Beschwerde die aufschiebende Wirkung zuerkannt. 