Faits: Faits: A. A.a X._, né le 30 novembre 1955, et dame X._, née le 12 février 1962, se sont mariés le 12 mai 1999 à Sion. Ils ont eu un enfant commun, A._, née le 19 avril 1999. Le mari a été marié une première fois du 19 février 1982 au 27 mars 1990. De cette union est issue une fille, B._, née le 4 août 1984. Il a ensuite été à nouveau marié du 4 mai 1992 au 14 avril 1994. Quant à l'épouse, elle a un fils, C._, né le 20 juillet 1994 de sa relation avec un homme décédé le 13 février 2003. L'enfant vit avec sa mère depuis le 24 janvier 2000. En septembre 2001, le mari a sollicité l'intervention de la Chambre pupillaire de Sion en raison de difficultés familiales. Le 2 octobre 2001, cette autorité a confié un mandat d'enquête sociale à l'Office pour la protection de l'enfant (ci-après: l'OPE), afin de déterminer si des mesures de protection devaient être instituées en faveur des enfants C._ et A._. Les conjoints se sont séparés le 26 mars 2002. L'épouse a déposé une requête de mesures protectrices de l'union conjugale le 10 avril suivant. Le 25 avril 2002, l'OPE a rendu un premier rapport faisant état du désir des enfants de rester auprès de leur mère et préconisant une curatelle éducative en leur faveur ainsi qu'un droit de visite progressif du père à l'égard de sa fille. Au cours de la séance aménagée le 15 mai 2002 par le juge III du district de Sion pour débattre de la requête de mesures protectrices, les parties ont conclu une transaction judiciaire sur les modalités de leur séparation, l'épouse s'engageant, en particulier, à favoriser les contacts personnels entre son mari et sa fille jusqu'à droit connu sur la décision à rendre par la Chambre pupillaire. A.b Le 27 mai 2002, le mari a revendiqué la garde de l'enfant, invoquant l'art. 315a CC et alléguant divers problèmes, notamment d'alcool, rencontrés selon lui par l'épouse. Constatant l'hospitalisation de celle-ci, la Chambre pupillaire a, par décision du 24 juin 2002, provisoirement confié la garde de l'enfant à son père (qui s'engageait à favoriser les contacts personnels entre la fillette et sa mère), et institué une curatelle de surveillance éducative en faveur des enfants C._ et A._ ainsi qu'une mesure de surveillance des relations personnelles en ce qui concerne celle-ci. Le 19 juillet 2002, l'épouse a déposé un certificat médical attestant de sa parfaite capacité à prendre ses enfants en charge en dépit du traitement qu'elle suivait contre la tuberculose. Dans ses rapports des 26 juillet et 26 septembre 2002, l'OPE a proposé de restituer dans les plus brefs délais la garde de A._ à sa mère, de maintenir la curatelle éducative en faveur des deux enfants de celle-ci et d'aménager le droit de visite du père envers sa fille conformément à la loi. Des difficultés ont surgi entre les conjoints concernant l'exercice des relations personnelles, l'épouse ayant refusé à plusieurs reprises de restituer l'enfant à son père à l'heure prévue. Le 7 janvier 2003, le mari a déposé une requête de mesures provisionnelles immédiates auprès de la Chambre des tutelles du district de Sion afin que l'épouse exerce son droit de visite au Point Rencontre, et a refusé de remettre l'enfant à sa mère durant les week-ends de janvier. La procédure pénale ouverte le 10 février 2003 contre celle-ci pour enlèvement de mineur et opposition aux actes de l'autorité est à ce jour toujours pendante. Dans son rapport du 6 juin 2003, l'OPE a notamment relevé que l'épouse paraissait être mieux à même que le mari de tenir compte des sentiments de l'enfant et de préserver les contacts personnels entre celle-ci et son autre parent. Ledit office préconisait dès lors le retour de la fillette au domicile de sa mère dans les plus brefs délais, le droit de visite du père étant suspendu durant un mois pour permettre à l'enfant de retrouver ses repères auprès de sa mère et d'évoluer pendant un certain temps à l'abri des tensions et des conflits qui menaçaient son équilibre. Dans son rapport du 6 juin 2003, l'OPE a notamment relevé que l'épouse paraissait être mieux à même que le mari de tenir compte des sentiments de l'enfant et de préserver les contacts personnels entre celle-ci et son autre parent. Ledit office préconisait dès lors le retour de la fillette au domicile de sa mère dans les plus brefs délais, le droit de visite du père étant suspendu durant un mois pour permettre à l'enfant de retrouver ses repères auprès de sa mère et d'évoluer pendant un certain temps à l'abri des tensions et des conflits qui menaçaient son équilibre. B. Par décision du 22 octobre 2003, le juge III du district de Sion a, notamment, rejeté la requête du mari tendant à l'administration d'une nouvelle expertise et à l'audition de l'enfant par le juge, confié la garde de celle-ci à la mère, fixé le droit de visite du père, ce droit étant toutefois provisoirement suspendu jusqu'à l'échéance d'un délai d'un mois à compter du retour de l'enfant chez sa mère, et astreint le mari à verser en faveur de sa fille des contributions d'entretien d'un montant de 525 fr. par mois jusqu'au 30 avril 2006, puis de 510 fr. par mois. Par jugement du 23 décembre 2003, la Cour de cassation civile du Tribunal cantonal du canton du Valais a rejeté le pourvoi en nullité déposé par le mari contre cette décision. Par jugement du 23 décembre 2003, la Cour de cassation civile du Tribunal cantonal du canton du Valais a rejeté le pourvoi en nullité déposé par le mari contre cette décision. C. Agissant par la voie du recours de droit public au Tribunal fédéral, celui-ci conclut à l'annulation du jugement du 23 décembre 2003. Des observations sur le fond n'ont pas été requises. Des observations sur le fond n'ont pas été requises. D. Par ordonnance du 1er avril 2004, le président de la cour de céans a admis la requête d'effet suspensif. 