Faits: Faits: A. A.a P._, née le 12 septembre 1950, est titulaire d'un certificat fédéral de capacité de vendeuse. Occupée à des travaux d'horlogerie, elle a travaillé du 10 décembre 1990 au 30 novembre 1995 en qualité de contrôleuse au service de la fabrique d'ébauches T._ SA. Le 27 décembre 1995, elle a présenté une demande de prestations de l'assurance-invalidité, en requérant un reclassement dans une nouvelle profession, voire l'octroi d'une rente d'invalidité. Après instruction du point de vue médical et administratif, l'Office cantonal AI du Valais, considérant que P._ présentait une invalidité de 100 % depuis le 26 avril 1996 et de 26 % dès le mois de décembre 1996, a alloué à l'assurée une rente entière d'invalidité du 1er avril 1996 au 31 mars 1997 (décision du 20 février 1998). A.b Le 26 octobre 1999, P._ a présenté une nouvelle demande de prestations de l'assurance-invalidité, en requérant l'allocation d'une rente d'invalidité. Dans un rapport médical du 22 novembre 1999, le docteur R._, médecin traitant de l'assurée, a posé le diagnostic de fibromyalgie, état anxio-dépressif, syndrome cervical chronique sur cervicarthrose C4-C5-C6 et canal cervical étroit connu depuis 1991, et épigastralgies chroniques (AINS). Il faisait état d'une aggravation de toute la symptomatologie depuis le début 1999. La patiente présentait une incapacité de travail qui était toujours de 100 %. L'office AI a confié une expertise pluridisciplinaire au docteur G._, directeur médical de la Clinique O._. Le 19 décembre 2001, P._ a été examinée par le docteur M._, spécialiste FMH en psychiatrie et psychothérapie. Dans un rapport du 15 janvier 2002, ce médecin a retenu le diagnostic de syndrome somatoforme douloureux persistant (F45.4), sans comorbidité psychiatrique significative. Tenant compte notamment de ce rapport, le docteur G._, dans une expertise du 26 février 2002, a retenu les diagnostics pouvant influencer la capacité de travail suivants : trouble somatoforme douloureux persistant, cervicalgies sur arthrose C3 à C6 avec canal cervical étroit (depuis 1991), lombalgies sur arthrose L4 à S1 et neuropathie cubitale subaiguë du coude des deux côtés avec transposition antérieure du nerf cubital au coude droit le 25 septembre 2000. Il indiquait que tant sous l'angle psychique que somatique, la patiente présentait une limitation de sa capacité de travail qu'il estimait à 100 % pour les travaux lourds, à 35 % pour l'activité lourde du ménage et à 30 % pour une activité physique légère adaptée. Le 11 mars 2002, l'office AI a informé P._ qu'elle était apte à exercer à 70 % toute activité légère et adaptée, sans le port de charges lourdes ni une importante sollicitation des vertèbres cervicales. Il résultait de la comparaison des revenus une invalidité de 36 %, taux ne donnant pas droit à une rente d'invalidité. Pour ces motifs, l'office AI, par décision du 2 avril 2002, a rejeté la demande. A.c Le 6 mai 2002, P._ a formé recours contre cette décision devant le Tribunal cantonal des assurances du canton du Valais, en concluant à l'annulation de celle-ci et à l'allocation d'une demi-rente d'invalidité. A titre subsidiaire, elle demandait la mise en oeuvre d'une nouvelle expertise médicale. Le 10 septembre 2002, l'office AI a reçu une nouvelle demande de P._, datée du 9 septembre 2002, où elle invoquait une aggravation de son état de santé. Celle-ci produisait une lettre du 3 septembre 2002 du docteur V._, spécialiste FMH en médecine interne et spécialiste en maladies rhumatismales, dans laquelle ce praticien, qui est le médecin traitant de l'assurée, proposait qu'on réévalue la situation et que l'on demande à nouveau un bilan neuro-psychologique et psychiatrique. P._ a produit le 29 juillet 2003 une expertise du 26 juillet 2003 effectuée à sa requête par le docteur E._, spécialiste FMH en médecine interne, selon laquelle son incapacité de travail est actuellement totale. Se référant à l'évaluation de la doctoresse I._, spécialiste FMH en psychiatrie, consignée dans un rapport du 1er juillet 2003, il était d'avis que l'incapacité de travail était due aux conséquences du trouble dépressif récurrent diagnostiqué par ce médecin et à sa sévérité actuelle. Par jugement du 30 septembre 2003, la juridiction cantonale a rejeté le recours contre la décision du 2 avril 2002, tout en renvoyant le dossier à l'office AI pour qu'il procède dans le sens des considérants. Elle a considéré que dans la mesure où les rapports de la doctoresse I._, du docteur E._ et du docteur V._ paraissaient faire état d'une péjoration de l'état de santé de l'assurée, ils pouvaient être tenus pour une demande explicite de révision et qu'il appartenait à l'office AI de statuer dans ce sens. Ce jugement est entré en force. L'office AI, par décision du 24 novembre 2003, a refusé d'entrer en matière sur la demande du 10 septembre 2002. Il était d'avis que du point de vue psychiatrique, la comparaison entre l'expertise de la Clinique O._ du 26 février 2002 et celle du docteur E._ du 26 juillet 2003 (y compris le rapport de la doctoresse I._) permettait de nier qu'une véritable aggravation de l'état de santé soit plausible, mais qu'il s'agissait plutôt d'une appréciation différente d'une même situation. P._ a formé opposition contre celle-ci. Par décision du 12 février 2004, l'office AI a rejeté l'opposition. L'office AI, par décision du 24 novembre 2003, a refusé d'entrer en matière sur la demande du 10 septembre 2002. Il était d'avis que du point de vue psychiatrique, la comparaison entre l'expertise de la Clinique O._ du 26 février 2002 et celle du docteur E._ du 26 juillet 2003 (y compris le rapport de la doctoresse I._) permettait de nier qu'une véritable aggravation de l'état de santé soit plausible, mais qu'il s'agissait plutôt d'une appréciation différente d'une même situation. P._ a formé opposition contre celle-ci. Par décision du 12 février 2004, l'office AI a rejeté l'opposition. B. P._ a formé recours contre cette décision devant le Tribunal cantonal des assurances du canton du Valais, en concluant, sous suite de frais et dépens, à l'annulation de celle-ci. Elle demandait à être mise au bénéfice d'une rente entière d'invalidité. Le 1er avril 2004, elle a produit un rapport du docteur V._ du 29 mars 2004, selon lequel la situation s'était nettement aggravée depuis l'expertise de la Clinique O._ du 26 février 2002. Ce médecin proposait que l'assurance-invalidité organise en urgence une nouvelle évaluation psychiatrique. Par jugement du 4 mai 2004, la juridiction cantonale a annulé la décision du 12 février 2004, la cause étant renvoyée à l'office AI pour qu'il entre en matière sur la nouvelle demande et statue sur le fond dans une nouvelle décision. Par jugement du 4 mai 2004, la juridiction cantonale a annulé la décision du 12 février 2004, la cause étant renvoyée à l'office AI pour qu'il entre en matière sur la nouvelle demande et statue sur le fond dans une nouvelle décision. C. L'Office cantonal AI du Valais interjette recours de droit administratif contre ce jugement, en concluant à l'annulation de celui-ci. P._ conclut, sous suite de frais et dépens, au rejet du recours. Dans son préavis, l'Office fédéral des assurances sociales propose l'admission du recours. 