Faits: A. A.a Le 20 septembre 2004, A._ a confié la défense de ses intérêts à l'avocat X._ dans le cadre d'un litige matrimonial. Une procédure de divorce a été introduite en 2006 devant le Tribunal de la Gruyère. Le 25 juillet 2006, Me X._ a déposé une demande d'assistance judiciaire au nom de A._, en soulignant que la requête serait au besoin retirée lorsque la situation de son client, en relation avec l'héritage de son père décédé peu auparavant en Espagne, serait établie. Le 21 août 2006, dans l'attente de la décision sur l'assistance judiciaire, X._ a demandé à son client une avance de frais de 3'000 fr., qui a été payée. Le 25 janvier 2007, l'avocat a requis une seconde provision de 2'152 fr., qui n'a pas été versée. Le 13 février 2007, il a envoyé à A._ une note d'honoraires de 2'622 fr. après déduction de la provision de 3'000 fr. qui est demeurée impayée. Le 15 février 2007, A._ a résilié le mandat de l'avocat X._. Ce dernier a engagé, le 12 mars 2007, une poursuite contre son ancien client en paiement de la note d'honoraires précitée. A.b Par décision du 5 mars 2007, la Présidente du Tribunal civil de la Gruyère a accordé l'assistance judiciaire à A._ et nommé l'avocat X._ comme défenseur d'office jusqu'au 15 février 2007. Les 19 avril et 1er mai 2007, A._ a exigé de Me X._ la restitution de l'avance de frais de 3'000 fr. versée, dès lors que l'assistance judiciaire avait été accordée, ce que l'avocat a refusé par lettres du 24 avril et 3 mai 2007, au motif que l'assistance judiciaire n'était pas justifiée. B. Le 11 mai 2007, A._ a saisi la Commission du Barreau du canton de Fribourg (ci-après: la Commission) d'une plainte en raison notamment de la note d'honoraires envoyée par l'avocat X._ et de la poursuite engagée par celui-ci. Le 15 janvier 2009, l'avocat X._ a annoncé à la Commission qu'il avait consigné les 3'000 fr. versés par A._ au greffe du Tribunal de la Gruyère. Au 1er octobre 2009, il n'avait toujours pas déposé et fait fixer sa liste de frais pour l'assistance judiciaire. Par décision du 13 octobre 2009, la Commission a prononcé un avertissement à l'encontre de l'avocat, lui impartissant un délai échéant le 30 novembre 2009 pour déconsigner les 3'000 fr. déposés auprès du greffe du Tribunal de la Gruyère et régler comptes avec A._. La Commission a en substance reproché à X._ d'avoir violé les règles de la profession d'avocat en refusant de restituer à A._ la provision versée, alors qu'il savait que la demande d'assistance judiciaire avait été admise, tout en omettant - simultanément et consciemment - de déposer et faire fixer sa liste de frais découlant de l'assistance judiciaire. Dès réception de cette décision, X._ a déposé sa liste de frais et, le 27 octobre 2009, la Présidente du Tribunal civil de la Gruyère a arrêté l'indemnité du défenseur d'office à 3'518 fr. 30. X._ a recouru contre la décision de la Commission du 13 octobre 2009 auprès de la Ie Cour administrative du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal), qui l'a débouté par arrêt du 14 avril 2011. C. A l'encontre de cet arrêt, X._ dépose un recours en matière de droit public au Tribunal fédéral, dans lequel il conclut principalement à ce qu'aucun avertissement ne soit prononcé à son encontre et à ce que le montant de 3'000 fr. consigné auprès du greffe du Tribunal de la Gruyère à Bulle soit déconsigné en faveur de l'Etat de Fribourg. Subsidiairement, il demande que la cause soit renvoyée au Tribunal cantonal pour instruction complémentaire et nouvelle décision. Le Tribunal cantonal et la Commission concluent au rejet du recours. D. Par ordonnance du 24 juin 2011, le Président de la IIe Cour de droit public a admis la demande d'effet suspensif contenue dans le recours. 