Faits: A. D._, né en 1996, est affiliée à la caisse-maladie CSS Assurance (ci-après : CSS) pour l'assurance obligatoire des soins et pour diverses assurances complémentaires (assurance complémentaire Standard Zoom, assurance complémentaire décès et invalidité par accident). La débitrice des primes est sa mère, S._. Le 11 mai 2001, l'assuré a subi une intervention chirurgicale dentaire à l'hôpital X._. Cette intervention a été pratiquée par son médecin-dentiste traitant, le docteur V._, lequel avait diagnostiqué une atteinte généralisée de la dentition lactéale avec symptomatologie infectieuse et douloureuse. Ensuite de cette intervention, l'hôpital X._ a adressé à la CSS, le 13 août 2001, une facture de 2'118 fr. 90. Selon un décompte du 1er septembre de la même année, la CSS a versé à cet hôpital, au titre de l'assurance obligatoire, la somme facturée et a demandé à S._ le remboursement de 202 fr. 65 de frais de participation et de 4 fr. 50 de frais de petit-déjeuner. Constatant toutefois avoir commis une erreur, la CSS a annoncé à la mère de l'assuré, par courrier du 8 mars 2002, qu'elle n'était pas en mesure de prendre en charge ladite intervention et qu'elle demanderait prochainement le remboursement des frais payés à tort. Le 21 août suivant, S._ a ainsi été invitée à rembourser, dans les 30 jours, un montant de 1'826 fr. 35, établi selon le calcul suivant: 2'118.90 facture de l'hôpital X._, dont à déduire : - 202.65 participation - 4.50 frais non assurés - 85.40 prise en charge Standard Zoom 1'826.35 total Aucun paiement n'étant intervenu dans le délai imparti, la CSS a fait notifier, le 22 octobre 2002, un commandement de payer à la mère de l'assuré. Cette dernière y a fait opposition mais, par décision du 8 novembre 2002, la CSS a levé celle-ci et considéré que S._ restait débitrice de la somme de 1'826 fr. 35, frais en sus. La mère de l'assuré a formé opposition et, par décision sur opposition du 2 mai 2003, la CSS a persisté dans son refus de prise en charge. B. Par jugement du 10 octobre 2003, le Tribunal des assurances du canton du Valais a rejeté le recours formé par l'assuré contre cette décision. Il a retenu que l'affection dentaire présentée par D._ était due à une atteinte carieuse et que, par conséquent, dans la mesure où la carie fait partie des pathologies évitables par le biais d'une bonne hygiène buccale et dentaire, son traitement était exclu du cercle des prestations obligatoires de l'assurance-maladie. C. D._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, en concluant au renvoi du dossier pour complément d'instruction. La CSS conclut au rejet du recours, alors que l'Office fédéral des assurances sociales renonce à se déterminer. 