Faits: A. Jusqu'au début de l'année 2008, X._ a travaillé dans l'Etude E._, en association avec les avocats C._, A._ et B._. Le conflit qui oppose X._ à ses anciens associés a donné lieu à plusieurs plaintes pénales et dénonciations disciplinaires, ainsi qu'à des procédures civiles ou arbitrales toujours en cours. Dans le cadre des dénonciations disciplinaires dont lui-même a été l'objet, X._ a déposé plusieurs demandes de récusation à l'encontre des membres de la Chambre de surveillance des avocats du canton du Valais (ci-après: la Chambre de surveillance) qui peuvent être résumées comme suit: A.a Affaire D._ / 016/2008 Le 16 juin 2008, X._ a été dénoncé à la Chambre de surveillance par D._, au sujet de sa participation à la procédure d'opposition à un projet immobilier, à Nendaz. Dans le cadre de cette procédure, le Président de la Chambre de surveillance à l'époque, Me Olivier Vocat, a refusé de se récuser, parce que les membres de l'Etude E._ n'étaient ni parties, ni dénonciateurs dans cette affaire, contrairement à une autre affaire disciplinaire où il s'était récusé spontanément. La Chambre de surveillance, composée de Me Roger Pannatier et de Christophe Joris, a ensuite rejeté la requête de récusation, par décision du 1er juillet 2009. Avisé du fait qu'en raison des modifications intervenues au sein de la Chambre de surveillance, Me Paul Carlen avait remplacé Me Vocat, X._ a, le 19 janvier 2010, requis la récusation de Me Carlen, au motif que celui-ci entretenait de longue date des rapports d'amitié avec Me C._, ainsi que celle de Me Pannatier, sollicité comme témoin par ses anciens associés dans les affaires qui l'opposaient à ces derniers. Par décision du 19 juillet 2010, Christophe Joris a rejeté les deux requêtes de récusation. Le 10 septembre 2010, X._ a encore requis la récusation de Me Pannatier et de Me Carlen en raison de leurs liens d'amitié avec ses anciens associés, découlant notamment de l'appartenance de Me C._ à la Chambre de surveillance. Informé que ses requêtes seraient traitées par le Juge Joris, X._ a également requis la récusation de ce dernier. Le 10 novembre 2010, Christophe Joris a accepté exceptionnellement de se récuser, tout en relevant que ni sa participation antérieure à la procédure, ni son amitié avec Me B._ ne constituaient des motifs de prévention. Le 30 novembre 2010, X._ a demandé la récusation de la Chambre de surveillance in corpore, en raison des liens de collégialité de ses membres avec Me C._. A.b Affaire de C._, A._ et B._ / 013/2009 Le 13 novembre 2009, Me Carlen a avisé X._ de l'ouverture d'une instruction, à la suite de la dénonciation de ses anciens associés du 3 septembre 2009, en lui indiquant que la Chambre d'accusation serait composée de Me Clément Nantermod, de la Juge Patrizia Métrailler-Franzetti et de lui-même. Dans le délai imparti, X._ a requis la récusation de Me Carlen, mais ne s'est pas opposé à la suspension de la procédure jusqu'à droit connu sur le résultat de la procédure arbitrale. Cette demande de récusation a été rejetée le 20 avril 2010 par Patrizia Métrailler-Franzetti et Me Stéphane Coppey, lequel avait remplacé Me Nantermod. A.c Affaire Chambre des tutelles / 006/2010 Le 11 février 2010, la présidente de la Chambre des tutelles du district de Sion a dénoncé X._ à la Chambre de surveillance pour avoir représenté un époux contre l'autre après avoir été le notaire du couple quelque dix ans auparavant. X._ a relevé d'emblée que le véritable dénonciateur ne pouvait être que Me B._, secrétaire de la Chambre des tutelles, puis il s'est référé à sa demande de récusation dans l'affaire D._. Le 21 octobre 2010, il a confirmé qu'il sollicitait la récusation de Mes Carlen et Pannatier. B. Le 14 janvier 2011, la Chambre de surveillance a transmis la requête de récusation dans l'affaire D._ (016/2008) à l'Autorité cantonale de surveillance des avocats du canton du Valais (ci-après: l'Autorité cantonale de surveillance). Elle en a fait de même le 7 février 2011 pour l'affaire C._, A._ et B._ (013/2009), en précisant que Me Carlen avait accepté de se récuser volontairement à la suite d'un mandant récent. Ce dernier est d'ailleurs décédé le 8 mars 2011. Par jugement du 16 août 2011, l'Autorité de surveillance des avocats a tout d'abord déclaré irrecevable la demande de récusation dans les causes que le recourant lui-même avait dénoncées, seul ou conjointement avec son épouse (011/2008: dénonciation contre inconnu des 28 et 29 avril 2008, classée et 012/2008: dénonciation du 5 mai 2008 et ses compléments contre les associés de l'Etude E._). Elle a ensuite pris acte de la récusation de Christophe Joris et C._ et constaté que celle visant Paul Carlen était devenue sans objet. Enfin, l'Autorité de surveillance a admis la demande de récusation contre les membres de la Chambre de surveillance en tant qu'elle concernait Géraldine Gianadda, dont les liens d'amitié avec Me B._ pouvaient objectivement semer le doute quant à son impartialité, mais l'a rejetée pour le surplus, soit en tant qu'elle concernait Roger Pannatier, Président, Patrizia Métrailler-Franzetti, Peter Zengaffinen, ainsi que Michaël Steiner et Stéphane Coppey, membres-suppléants. C. X._ forme auprès du Tribunal fédéral un "recours", subsidiairement un "recours constitutionnel" et conclut, avec suite de frais et dépens, à l'annulation du jugement de l'Autorité cantonale de surveillance du 16 août 2011, le dossier étant renvoyé à cette autorité pour nouvelle décision dans le sens des considérants. L'Autorité cantonale de surveillance a renoncé à se déterminer et a produit les dossiers de la cause TCV C2 11-4, ainsi que les dossiers de la Chambre de surveillance (5 classeurs gris et 1 classeur rouge). La Chambre de surveillance, ainsi que son Président Roger Pannatier, se réfèrent aux décisions prises et s'en remettent à la décision du Tribunal fédéral. Me Stéphane Coppey s'est déterminé sur le recours et conclut à son rejet. Les autres membres de la Chambre de surveillance ont renoncé à déposer une réponse. X._ a déposé des observations finales le 24 novembre 2011, qui ont été transmises aux intimés pour information. 