Faits: Faits: A. A._, viticulteur à Y._, a épousé B._. Trois enfants sont issus de cette union: Françoise, née le 18 juin 1958, C._, né le 25 septembre 1963, et D._, née le 29 septembre 1964. E._ a épousé l'avocat F._, D._ G._. Le 13 septembre 1998, A._ a prêté pour douze ans un montant de 370'000 fr. à F._ et E._, codébiteurs solidaires. Ce prêt n'a pas été remboursé. C._ travaillait dans l'exploitation viticole de son père. Celui-ci est décédé le 27 juin 2002. Un conflit a surgi entre C._, d'une part, qui souhaitait reprendre l'entreprise familiale, et sa mère et ses soeurs, d'autre part, qui voulaient la remettre à G._. Le 8 juillet 2002, C._ a formé devant le Tribunal des districts d'Hérens et Conthey une requête de mesures provisionnelles et de désignation d'un représentant de la communauté héréditaire. Le 23 juillet 2002, B._, E._ et D._, toutes représentées par X._, avocat et associé de F._, ont également formé une demande de mesures provisionnelles. Le 23 août 2002, le Juge des districts d'Hérens et Conthey, après l'avoir, mais en vain, invité à se défaire de son mandat, a décidé que X._ ne pouvait représenter B._, E._ et D._. Il a imparti à celles-ci un délai de dix jours pour désigner un autre avocat. Il a considéré que X._ ne pouvait agir pour le compte de l'épouse de son associé. Il existait en outre un conflit d'intérêts entre les trois mandantes de X._, dont deux étaient créancières de l'autre, à raison du prêt du 13 septembre 1998. Un tel conflit pouvait également surgir, pour les mêmes raisons, entre les membres de l'hoirie et F._, ce qui excluait toute représentation par son associé X._, au regard de l'art. 12 de la loi fédérale sur la libre circulation des avocats, du 23 juin 2000 (LLCA; RS 935.61). Par arrêt du 10 mai 2003, le Tribunal cantonal du canton du Valais a déclaré irrecevable le pourvoi en nullité formé contre cette décision par B._, D._ et E._; il a rejeté le pourvoi formé par X._. Par arrêt du 10 mai 2003, le Tribunal cantonal du canton du Valais a déclaré irrecevable le pourvoi en nullité formé contre cette décision par B._, D._ et E._; il a rejeté le pourvoi formé par X._. B. Agissant par la voie du recours de droit administratif, X._ demande au Tribunal fédéral d'annuler l'arrêt du 10 mai 2003. Il invoque l'art. 12 LLCA. Le Tribunal cantonal et le Juge de district ont renoncé à se déterminer. L'Office fédéral de la justice a produit des observations tendant à l'admission du recours. 