Faits: Faits: A. Le 27 février 1996, la Chambre pupillaire de la commune d'Ayent a désigné Y._ comme tuteur de X._. Sur recours de ce dernier contre des décisions prises par la chambre pupillaire les 1er septembre 2003 et 17 mars 2004, la Chambre des tutelles du district d'Hérens, statuant le 28 juin 2004 en qualité d'autorité tutélaire de surveillance, a notamment ordonné à la chambre pupillaire de révoquer le mandat de Y._ avec effet au 30 août 2004 et de nommer comme tutrice Z._, nièce du pupille, avec effet au 1er septembre 2004. Sur recours de ce dernier contre des décisions prises par la chambre pupillaire les 1er septembre 2003 et 17 mars 2004, la Chambre des tutelles du district d'Hérens, statuant le 28 juin 2004 en qualité d'autorité tutélaire de surveillance, a notamment ordonné à la chambre pupillaire de révoquer le mandat de Y._ avec effet au 30 août 2004 et de nommer comme tutrice Z._, nièce du pupille, avec effet au 1er septembre 2004. B. La chambre pupillaire n'ayant pas donné suite à cette décision, X._ a déposé une plainte pour déni de justice, le 22 octobre 2004, auprès de la chambre de tutelle. Celle-ci n'a toutefois pas traité la plainte. Le 25 février 2005, X._ a adressé au Juge des districts d'Hérens et Conthey une plainte pour déni de justice formel à l'encontre de la chambre de tutelle. Par décision du 23 mars 2005, le juge de district a dénié sa compétence et a déclaré la plainte irrecevable. Le 25 février 2005, X._ a adressé au Juge des districts d'Hérens et Conthey une plainte pour déni de justice formel à l'encontre de la chambre de tutelle. Par décision du 23 mars 2005, le juge de district a dénié sa compétence et a déclaré la plainte irrecevable. C. Contre cette décision, X._ a formé, le 28 avril 2005, un recours de droit public pour arbitraire. Il conclut, avec suite de frais et dépens, à l'admission de son recours. Le juge de district et la chambre de tutelle ont renoncé à se déterminer sur le recours. 