Faits: A. En 1998, Me Z._, avocat, a dénoncé son confrère Me X._ pour calomnie, subsidiairement diffamation, et dénonciation calomnieuse. Me X._ a ensuite dénoncé Me Z._, pour diverses infractions, mais le Juge d'instruction du Valais central Y._ a refusé de donner suite à cette dernière dénonciation, et la décision de refus de suivre a été confirmée le 1er septembre 2000 par le Tribunal cantonal du canton du Valais. Le 23 mai 2003, Me Z._ a déposé une dénonciation pénale complémentaire et, le 12 juin 2003, le Juge Y._ a ouvert d'office une nouvelle instruction contre Me X._, pour dénonciation calomnieuse (cause ICC P1 03 694). Dans cette cause, Me X._ a demandé une première fois la récusation du Juge Y._ le 7 mai 2004; cette demande a été déclarée irrecevable le 19 mai 2004. Une deuxième demande de récusation de ce magistrat a été rejetée le 7 juillet 2004 par le Président du Tribunal cantonal. Le 9 juillet 2004, Me X._ a déposé plainte contre Me Z._, pour dénonciation calomnieuse. Le Juge Y._ a refusé de suivre à cette dénonciation. Me Z._ a déposé le 15 novembre 2004 une nouvelle plainte pénale contre Me X._. Le 24 février 2005, le Juge Y._ a inculpé Me X._ de calomnie, subsidiairement de diffamation et de dénonciation calomnieuse. Me X._ a derechef demandé la récusation du Juge Y._; cette demande a été rejetée le 27 juin 2005. Le 9 décembre 2005, le Juge Y._ a rendu une nouvelle ordonnance d'inculpation de Me X._, pour insoumission à une décision de l'autorité et dénonciation calomnieuse. Le 16 décembre 2005, Me X._ a écrit au Juge Y._ pour l'inviter à se dessaisir du dossier, en ajoutant qu'à défaut il demandait sa récusation. La lettre a été transmise au Président du Tribunal cantonal, qui l'a traitée comme une demande de récusation et rejetée, dans la mesure où elle était recevable, par un prononcé du 28 avril 2006. B. Agissant par la voie du recours de droit public, Me X._ demande au Tribunal fédéral d'annuler le prononcé du Président du Tribunal cantonal. Le Président du Tribunal cantonal a produit le dossier. Sur le fond, il se réfère aux considérants de sa décision, sans prendre de conclusions. Le Juge Y._ n'a pas déposé de réponse au recours. C. Me X._ requiert la suspension de la procédure de recours de droit public jusqu'à droit connu sur une requête qu'il a déposée, tendant à la révision de la décision du Président du Tribunal cantonal du 7 juillet 2004, par laquelle une demande de récusation du Juge Y._ avait été rejetée. 