Faits: A. Dans le cadre d'une instruction pénale ouverte le 17 juin 2002 contre C._ pour de prétendus actes d'ordre sexuel commis sur D._, né le 6 mai 1998, le Juge d'instruction pénale en charge du dossier a rejeté, en date du 3 décembre 2002, une requête des époux F._ tendant à la récusation de l'experte mandatée pour procéder à l'expertise de crédibilité de leur fils. Par décision du 14 janvier 2003, la Chambre pénale du Tribunal cantonal valaisan (ci-après: la Chambre pénale) a rejeté le recours formé contre cette décision. Le 22 janvier 2003, D._, agissant par ses parents, a déposé un pourvoi en nullité et un recours de droit public contre cette décision auprès du Tribunal fédéral. Le conseil de D._, Me G._, s'est adressé le 25 avril 2003 au Tribunal fédéral afin d'obtenir la notification des motifs du jugement de manière à ce que l'enfant puisse être entendu rapidement par un spécialiste. Le conseil de C._, Me A._, a écrit le 14 mai 2003 au Président de la cour de cassation pénale du Tribunal fédéral pour lui faire part de l'absence de crédit qu'il accordait à cette écriture. Il précisait notamment ce qui suit: "Cela dit, la question posée est aujourd'hui encore différente: le Tribunal fédéral peut-il admettre que l'une des parties, représentée par l'avocat signataire de la lettre du 25 avril 2003, soit à ce point incohérente dans ses requêtes et à ce point sans foi ni loi?". Considérant que cette dernière expression constituait une grave atteinte à l'honneur, les époux F._ et G._ ont déposé, le 5 juin 2003, une plainte pénale contre A._. Par décision du 11 septembre 2003, le Juge d'instruction pénale B._ a ouvert une instruction pénale contre A._ pour calomnie, subsidiairement pour diffamation. Le même jour, il l'a cité à comparaître comme prévenu à son audience du 8 octobre 2003. Le 16 septembre 2003, le conseil de A._ a sollicité le report de l'audience et l'ouverture d'une enquête préliminaire à confier à la police de sûreté valaisanne, comportant entre autres mesures d'instruction l'audition en qualité de témoin du Juge d'instruction H._, qui avait instruit dans un premier temps la procédure pénale dirigée contre C._. Le 18 septembre 2003, le Juge d'instruction B._ a reporté l'audition du prévenu au 5 novembre 2003, estimant au surplus inutile de procéder à une enquête préliminaire. A._ a été entendu à cette date; il a alors confirmé la teneur de sa lettre du 25 avril 2003. Le 3 décembre 2004, puis le 25 octobre 2005, il a conclu au prononcé d'un non-lieu en se référant notamment à une décision prise la veille par la Chambre pénale dans une cause pénale pour injure opposant son épouse à l'avocat de la partie adverse. Par ordonnance du 17 janvier 2006, le Juge d'instruction a inculpé A._ de calomnie, subsidiairement de diffamation, et fixé aux parties un délai de vingt jours pour requérir un complément d'instruction et, le cas échéant, pour déposer les questionnaires et les pièces en leur possession, sous peine de déchéance. Le 25 janvier 2006, A._ a déposé plainte contre cette décision auprès de la Chambre pénale. Le 26 janvier 2006, il a sollicité une prolongation de délai. Par pli séparé du même jour, il a requis la récusation du Juge d'instruction B._. Cette mesure s'imposait, d'une part, par l'audition requise de ce magistrat et du juge d'instruction H._ en qualité de témoins et, d'autre part, par les liens étroits d'amitié que son ex-épouse, avec laquelle il était en conflit, entretenait avec l'épouse du juge B._. Ce dernier a refusé de se récuser, estimant son audition inutile; il a transmis la demande au Président du Tribunal cantonal valaisan (ci-après: le Président du Tribunal cantonal) le 1er février 2006. Le 3 février 2006, A._ a vu un motif de prévention supplémentaire du juge d'instruction à son égard dans le fait que celui-ci aurait préjugé sur l'admissibilité d'une preuve. Au terme d'une décision prise le 22 mars 2006, le Président du Tribunal cantonal a déclaré la requête irrecevable pour cause de tardiveté, parce que les motifs de récusation invoqués étaient connus du requérant bien avant l'ordonnance d'inculpation. Statuant par surabondance au fond, il a estimé qu'elle aurait dû être rejetée. B. Agissant par la voie du recours de droit public, A._ demande au Tribunal fédéral d'annuler cette décision et de renvoyer le dossier au Président du Tribunal cantonal pour nouvelle décision dans le sens des considérants. Il invoque une violation des art. 34 let. c du Code de procédure pénale valaisan (CPP val.), 30 al. 1 Cst. et 6 § 1 CEDH. Le Président du Tribunal cantonal se réfère aux considérants de sa décision. Le Juge d'instruction intimé a présenté des observations. C. Par ordonnance du 27 avril 2006, le Président de la Ire Cour de droit public a rejeté la requête d'effet suspensif déposée par le recourant. 