Sachverhalt: A. A._ beschwerte sich am 8. Dezember 2009 bei der Aufsichtsbehörde des Kantons Schaffhausen über das Anwaltswesen über Rechtsanwalt X._ und machte geltend, dieser habe als sein Rechtsvertreter im Zusammenhang mit einer zivilrechtlichen Streitigkeit u.a. die Berufsregeln verletzt. B. Mit Entscheid vom 7. Februar 2011 verwarnte die Aufsichtsbehörde des Kantons Schaffhausen über das Anwaltswesen X._ im Sinn von Art. 17 Abs. 1 lit. a des Bundesgesetzes vom 23. Juni 2000 über die Freizügigkeit der Anwältinnen und Anwälte (Anwaltsgesetz, BGFA; SR 935.61). Zur Begründung hielt sie insbesondere fest, X._ habe dadurch, dass er A._ auf dessen Verlangen nicht umgehend eine detaillierte Abrechnung habe zukommen lassen, gegen die Berufsregel von Art. 12 lit. i BGFA verstossen. Der begründete Entscheid wurde X._ und A._ zugestellt. Die gegen diesen Entscheid von X._ erhobene Verwaltungsgerichtsbeschwerde wies das Obergericht des Kantons Schaffhausen am 6. Januar 2012 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 6. Februar 2012 stellt X._ folgende Anträge: Die Ziff. 1 bis 3 des Entscheids des Obergerichts des Kantons Schaffhausen vom 6. Januar 2012 seien aufzuheben, der Entscheid der Aufsichtsbehörde des Kantons Schaffhausen über das Anwaltswesen vom 7. Februar 2011 und die gegen den Beschwerdeführer ausgefällte Verwarnung seien aufzuheben; eventualiter sei eine formlose Ermahnung auszusprechen, und es sei die Unrechtmässigkeit der Eröffnung der Entscheide des Obergerichts des Kantons Schaffhausen vom 6. Januar 2012 und der Aufsichtsbehörde des Kantons Schaffhausen über das Anwaltswesen vom 7. Februar 2011 an den Anzeigeerstatter festzustellen. Das Obergericht des Kantons Schaffhausen verzichtet auf eine Stellungnahme. Die Aufsichtsbehörde des Kantons Schaffhausen über das Anwaltswesen verweist in ihrer Stellungnahme auf die Erwägungen der kantonalen Entscheide und macht zusätzliche Ausführungen zur Beschwerde. Mit Eingabe vom 11. April 2012 nimmt X._ zur Eingabe der Aufsichtsbehörde des Kantons Schaffhausen über das Anwaltswesen Stellung. Mit Präsidialverfügung vom 6. März 2012 wurde der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt. 