Faits: A. Le 15 juin 2009, X._, avocat à C._, a été condamné par le Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal), à une peine pécuniaire de 135 jours-amende à 200 fr., dont l'exécution a été assortie du sursis pendant un délai d'épreuve de deux ans, ainsi qu'à une amende de 1'500 fr. pour calomnie, insoumission à une décision de l'autorité et dénonciation calomnieuse. Le recours formé par l'avocat contre ce jugement a été rejeté par le Tribunal fédéral par arrêt du 1er février 2010 (cause 6B_591/2009). Il était en substance reproché à X._ d'avoir déposé, à l'encontre d'un autre avocat, une dénonciation pénale comportant un état de fait erroné, dans le dessein de faire ouvrir une poursuite pénale contre ce confrère et sa cliente, alors qu'il ne disposait d'aucun élément sérieux à l'appui de ses accusations. En outre, il avait transgressé une décision lui interdisant de diffuser un avis de droit et dénoncé deux autres confrères à la Chambre de surveillance des avocats en proférant des accusations dont il savait qu'elles étaient parfaitement infondées. B. Le 10 février 2010, les deux avocats mis en cause devant la Chambre de surveillance des avocats ont signalé à la Présidente de l'Autorité cantonale de surveillance des avocats (ci-après: la Présidente) la condamnation pénale dont avait fait l'objet X._. Le 23 avril 2010, la Présidente a radié X._ du registre cantonal des avocats, considérant que les faits pour lesquels ce mandataire professionnel avait été condamné pénalement n'étaient pas compatibles avec l'exercice de la profession d'avocat, de sorte que l'une des conditions personnelles requises pour être inscrit au registre faisait défaut. Par arrêt du 21 janvier 2011, le Tribunal cantonal valaisan a rejeté le recours formé par X._ à l'encontre de la décision de la Présidente du 23 avril 2010, rejetant également la demande de récusation du Tribunal cantonal dans son ensemble et celle concernant la suspension de la procédure formées par l'avocat. C. Contre cet arrêt, X._ interjette un recours en matière de droit public au Tribunal fédéral au terme duquel il conclut à l'annulation de la décision entreprise et à ce qu'il soit ordonné à l'Autorité cantonale chargée de tenir le registre des avocats de l'y inscrire et de le maintenir. Par ordonnance présidentielle du 25 mars 2011, le Président de la IIe Cour de droit public a admis la requête d'effet suspensif formée parallèlement par l'avocat recourant. Comme la décision de radiation avait été exécutée avant même l'écoulement du délai de recours contre l'arrêt du 21 janvier 2011, il a, pour conférer un effet utile à l'octroi de l'effet suspensif, ordonné à ce que X._ soit réinscrit dans le registre des avocats du canton du Valais jusqu'à droit connu en la présente procédure. La Présidente, le Tribunal cantonal et le Département fédéral de justice et police ont renoncé à se déterminer sur le recours. S'agissant de l'effet suspensif, la Présidente a toutefois relevé que, comme le jugement du Tribunal cantonal du 15 juin 2009 devrait en principe être éliminé prochainement de l'extrait privé du casier judiciaire du recourant en vertu de l'art. 371 al. 3bis CP, l'octroi de l'effet suspensif reviendrait à rendre presque illusoire la procédure de radiation du registre cantonal des avocats. 