Faits: Faits: A. A.a L._, né le 6 décembre 1946, est enseignant au service de l'État du Valais. A ce titre, il est affilié à la Caisse de prévoyance du personnel de l'État du Valais (ci-après : la caisse). Le 12 avril 1986, il a épousé E._. Le mariage a été dissous par le divorce le 25 janvier 2000, au terme d'une procédure qui a opposé les époux devant le Juge du district de X._ (jugement du 9 octobre 1998), le Tribunal cantonal valaisan (jugement du 12 octobre 1999) et le Tribunal fédéral (arrêt du 25 janvier 2000). En exécution du jugement définitif, la caisse a prélevé le montant de 167'464 fr. de la prestation de sortie de son assuré et versé cette somme à la Caisse de retraite du personnel enseignant en faveur de E._. A.b Le 11 février 2000, la caisse a avisé L._ que la durée possible de son sociétariat, de 40 années avant le transfert, était ramenée à 29,75 années, que le taux de rente, de 60 % avant le prélèvement, s'élevait dorénavant à 44,625 % et que la date d'origine des droits qui remontait au 1er janvier 1969 était portée au 1er avril 1979. Le certificat de prévoyance au 1er février 2000, que la caisse joignait à ses explications, retenait ces nouveaux éléments. La caisse considérait que le retrait opéré lors du divorce équivalait à 10,25 années de cotisations. L'assuré pouvait cependant racheter les années perdues en versant à la caisse le montant de 167'464 fr. (lettres des 11 février 2000 et 22 janvier 2002). Le 11 juin 2002, L._ a demandé à la caisse de revoir sa position quant aux effets du transfert de la somme de 167'464 fr. sur sa prévoyance; à cet égard, il se référait à un avis de droit de l'avocat de Riedmatten portant sur la conformité du calcul de la caisse avec le droit fédéral, et selon lequel la réduction de la prestation de sortie lors du divorce ne devait correspondre dans le cas de L._ qu'à une perte de 4,44, éventuellement 5 années de cotisations. La caisse a rejeté la demande. Le 11 juin 2002, L._ a demandé à la caisse de revoir sa position quant aux effets du transfert de la somme de 167'464 fr. sur sa prévoyance; à cet égard, il se référait à un avis de droit de l'avocat de Riedmatten portant sur la conformité du calcul de la caisse avec le droit fédéral, et selon lequel la réduction de la prestation de sortie lors du divorce ne devait correspondre dans le cas de L._ qu'à une perte de 4,44, éventuellement 5 années de cotisations. La caisse a rejeté la demande. B. Le 23 août 2002, L._ a saisi le Tribunal cantonal des assurances du canton du Valais et conclu à ce qu'il soit ordonné à la caisse de procéder à la rectification de son état de compte pour les postes date d'origine des droits, années de cotisations acquises, durée possible de sociétariat et taux de la rente à l'âge statutaire, en ne prenant en considération qu'une diminution de 4,44 années en lieu et place de 10,25 années. Après avoir demandé à l'Office fédéral des assurances sociales (OFAS) de se prononcer sur la réduction des années de cotisations opérées par la caisse lors du divorce de l'assuré (demande du 18 décembre 2003; avis du 6 février 2004), la juridiction cantonale a rejeté la demande par jugement du 2 avril 2004. Après avoir demandé à l'Office fédéral des assurances sociales (OFAS) de se prononcer sur la réduction des années de cotisations opérées par la caisse lors du divorce de l'assuré (demande du 18 décembre 2003; avis du 6 février 2004), la juridiction cantonale a rejeté la demande par jugement du 2 avril 2004. C. L._ interjette recours de droit administratif contre ce jugement, dont il demande l'annulation, en reprenant les conclusions et les moyens développés devant les premiers juges. La caisse conclut au rejet du recours, tandis que l'OFAS se réfère à son avis donné à la juridiction cantonale. 