Faits: Faits: A. A.a P._, né le 20 août 1943, a présenté le 6 mars 1997 une demande de prestations de l'assurance-invalidité. Dans un prononcé de rente du 10 octobre 1997, l'Office cantonal AI du Valais a avisé la Caisse de compensation du canton du Valais qu'elle avait fixé à 80 % l'invalidité de l'assuré dès le 17 mai 1996. La caisse a procédé au rassemblement des comptes individuels de P._. Etant donné que celui-ci présentait des lacunes de cotisations en 1993, 1994 et 1995, le revenu minimum de 3'564 fr. par année pour une personne sans activité lucrative a été provisoirement pris en compte dans le calcul de la rente, en attendant le résultat de l'enquête mise en oeuvre. Par décision du 15 janvier 1998, l'office AI a alloué à l'assuré dès le 1er mai 1996 une rente entière d'invalidité d'un montant mensuel de 1'785 fr. jusqu'au 31 décembre 1996 et de 1'831 fr. à partir du 1er janvier 1997, assortie d'une rente complémentaire pour son épouse d'un montant mensuel de 535 fr. jusqu'au 31 décembre 1996 et de 549 fr. à partir du 1er janvier 1997. Le calcul de la rente prenait en considération un revenu annuel moyen déterminant de 59'700 fr., une durée de cotisations de 32 années et se fondait sur l'échelle (complète) de rente 44. Le 21 août 1998, un compte individuel complémentaire concernant P._ a été porté dans le fichier de calcul des rentes, où était inscrit un revenu d'indépendant de 12'000 fr. pour la période de septembre à décembre 1994 et de 36'000 fr. pour la période de janvier à décembre 1995. Vu que les cotisations personnelles dues par celui-ci pour l'ensemble de ces périodes faisaient l'objet d'un encaissement par voie de poursuite (situation de compte au 6 juillet 1999), la caisse a attendu que l'arriéré de cotisations soit entièrement payé le 30 avril 2002, pour transmettre à l'office AI le compte individuel complémentaire. Le 8 mai 2002, l'office AI a rendu une nouvelle décision de rente en lieu et place de celle du 15 janvier 1998, dans laquelle il informait P._ qu'il avait pris en compte dans le calcul de la rente les revenus de celui-ci qui n'avaient pas encore été comptabilisés pour les années 1994 et 1995. Par cette décision, il lui a alloué à partir du 1er mai 1996 une rente entière d'invalidité d'un montant mensuel de 1'816 fr. dès le 1er mai 1996, 1'863 fr. dès le 1er janvier 1997, 1'881 fr. dès le 1er janvier 1999 et 1'928 fr. dès le 1er janvier 2001, assortie d'une rente complémentaire pour son épouse d'un montant mensuel de 545 fr. dès le 1er mai 1996, 559 fr. dès le 1er janvier 1997, 564 fr. dès le 1er janvier 1999 et 578 fr. dès le 1er janvier 2001. Le calcul de la rente prenait en considération un revenu annuel moyen déterminant de 64'272 fr., une durée de cotisations de 31 années et 8 mois et se fondait sur l'échelle de rente 44. A.b Le 12 septembre 2002, la Caisse cantonale genevoise de compensation a transmis à la Caisse de compensation du canton du Valais le compte individuel de P._, en l'avisant qu'elle avait comptabilisé les revenus d'indépendant inscrits entre 1987 et 1990 comme des revenus négatifs, étant donné que les cotisations correspondantes n'avaient jamais été payées, suite à la faillite de l'entreprise de celui-ci. Le même jour, la seconde caisse a établi un compte individuel complémentaire, en procédant à l'inscription de ces revenus négatifs. Par décision du 29 octobre 2002, l'office AI a avisé P._ qu'ayant procédé à la prise en compte des revenus négatifs pour les années 1987 à 1990 jusque-là non comptabilisés, il avait réexaminé son dossier à partir du 1er octobre 1997. Dès cette date, il lui allouait une rente entière d'invalidité d'un montant mensuel de 1'691 fr. jusqu'au 31 décembre 1998, 1'708 fr. jusqu'au 31 décembre 2000 et 1'751 fr. dès le 1er janvier 2001, assortie d'une rente complémentaire pour son épouse d'un montant mensuel de 507 fr. jusqu'au 31 décembre 1998, 512 fr. jusqu'au 31 décembre 2000 et 525 fr. dès le 1er janvier 2001. Le calcul de la rente prenait en considération un revenu annuel moyen déterminant de 71'688 fr., une durée de cotisations de 27 années et 9 mois et se fondait sur l'échelle de rente 38. Par une autre décision rendue également le 29 octobre 2002, l'office AI a réclamé à P._ la restitution de la somme de 13'820 fr., montant correspondant à la différence entre les rentes déjà perçues entre le 1er octobre 1997 et le 31 octobre 2002 - soit 150'142 fr. - et les rentes effectivement dues pendant la même période - soit 136'322 fr. Par une autre décision rendue également le 29 octobre 2002, l'office AI a réclamé à P._ la restitution de la somme de 13'820 fr., montant correspondant à la différence entre les rentes déjà perçues entre le 1er octobre 1997 et le 31 octobre 2002 - soit 150'142 fr. - et les rentes effectivement dues pendant la même période - soit 136'322 fr. B. Par jugement du 22 mars 2004, le Tribunal cantonal des assurances du canton du Valais a rejeté le recours formé par P._ contre ces deux décisions. B. Par jugement du 22 mars 2004, le Tribunal cantonal des assurances du canton du Valais a rejeté le recours formé par P._ contre ces deux décisions. C. Dans un mémoire du 24 avril 2004, P._ interjette recours de droit administratif contre ce jugement, en demandant que la situation soit rétablie conformément à la décision de rente du 8 mai 2002. Il est d'avis que cette décision continue d'être en vigueur, motif pris que les offices AI des cantons de Genève et du Valais avaient le temps pour examiner sa situation dès le début et que la caisse avait l'obligation de contrôler soigneusement les comptes lors de la décision initiale de rente, ce qui n'a visiblement pas été le cas, ni lors des deuxième et troisième révisions de son droit à la rente. Il invoque la péremption du droit de demander la restitution du montant indûment touché, étant donné que ce n'est qu'en date du 29 octobre 2002 qu'il aurait été informé d'un nouveau changement et « d'autres erreurs de calculs qui seraient dues aux mauvais enregistrements à Genève mais qui datent de 14 ans en arrière ». Par lettre du 5 juillet 2004, P._ a produit copie de trois documents supplémentaires, dont deux décisions de rente de vieillesse du 4 juin 2004 qui concernent son épouse et lui-même. La Caisse cantonale valaisanne de compensation et l'Office cantonal AI du Valais concluent au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer. 