Faits: Faits: A. O._, née en 1959, suit un traitement depuis août 1998 auprès de la doctoresse V._, médecin à C._, notamment pour un état dépressif. Le 6 mai 1999, elle a présenté une demande de prestations de l'assurance-invalidité. L'Office de l'assurance-invalidité pour le canton de Vaud a confié une expertise au docteur R._, spécialiste FMH en médecine interne et spécialiste des maladies rhumatismales. Celui-ci a adressé la patiente pour un complément d'expertise au docteur H._, spécialiste FMH en neurologie, lequel, dans un rapport du 2 avril 2001, est arrivé à la conclusion que sur le plan strictement neurologique, il n'y avait pas d'incapacité de travail. Le docteur R._, dans son expertise du 16 mai 2001, a posé les diagnostics de céphalées de type migraines communes, céphalées de tension, lombalgies chroniques, troubles dégénératifs de la colonne lombaire avec rétrécissement relatif mixte du canal lombaire en L4-L5, obésité et état anxio-dépressif important. Il indiquait que le problème prédominant lui paraissait être l'état anxio-dépressif, qui semblait être majeur, et que l'assurée bénéficiait d'un suivi psychologique dans le cadre de l'organisation Appartenance. A son avis, une expertise psychiatrique devait préciser l'importance des troubles et juger de leurs implications dans une diminution de la capacité de travail. Dans un rapport d'examen clinique bidisciplinaire du 22 mars 2002 du Service médical régional AI (SMR Léman), les docteurs F._, spécialiste en médecine générale, et A._, psychiatre, ont retenu que l'assurée ne présentait pas de trouble psycho-pathologique majeur qui justifie une diminution de la capacité de travail. Au plan somatique, ils se référaient à l'expertise du docteur R._, qui admettait une capacité de travail de 50 % comme ouvrière et de 60 à 80 % dans une activité adaptée. Le 15 avril 2002, l'office AI a avisé O._ que dans une activité mieux adaptée (sans positions statiques, sans port de charges au-delà de 15 kg, sans flexions antérieures et/ou rotations de tronc répétées et sans longs déplacements), la capacité de travail exigible était estimée par les médecins à 60 % et à 80 % après quatre à six mois. Procédant à une comparaison des revenus, il retenait un revenu sans invalidité de 36'720 fr. par année comme ouvrière à plein temps chez I._ SA et un revenu annuel d'invalide de 25'491 fr. avec une capacité de travail de 60 %, de sorte que le manque à gagner était de 11'229 fr. et l'invalidité de 30.58 %. Avec une capacité de travail de 80 %, il résultait de la comparaison des revenus un taux d'invalidité de 7.44 %. Les conditions du droit à une rente d'invalidité n'étaient donc pas remplies. Pour ces motifs, l'office AI, par décision du 1er mai 2002, a rejeté la demande. Pour ces motifs, l'office AI, par décision du 1er mai 2002, a rejeté la demande. B. O._ a formé recours contre cette décision devant le Tribunal des assurances du canton de Vaud, en concluant, sous suite de frais et dépens, à la réforme de celle-ci en ce sens qu'elle a droit à une rente entière d'invalidité. Elle requérait la mise en oeuvre d'une expertise psychiatrique. Du 28 août au 23 septembre 2002, O._ a séjourné à l'Hôpital de E._. Dans un rapport du 26 juin 2003 du Service de psychiatrie générale et spécialisée de l'Hôpital P._, les docteurs U._, chef de clinique, et M._, médecin assistant, qui ont vu l'assurée à leurs consultations des 1er, 14 et 27 mai 2003, ont posé le diagnostic de trouble dépressif récurrent, épisode actuel moyen sans symptôme psychotique (F33.2), syndrome douloureux somatoforme persistant (F45.4) et anxiété généralisée (F41.1). Selon eux, au point de vue professionnel, il paraît clair que la patiente souffre actuellement d'une incapacité de travail totale et cela probablement sur un long terme. Par jugement du 28 août 2003, la juridiction cantonale a annulé la décision attaquée, la cause étant renvoyée à l'office AI pour qu'il procède à un complément d'instruction par une expertise psychiatrique à confier à un expert neutre puis rende telle nouvelle décision que de droit. Elle a considéré que les conclusions des médecins du SMR dans leur rapport d'examen clinique bidisciplinaire étaient mises en doute par le rapport des médecins de l'Hôpital P._ du 26 juin 2003, d'une part, et, d'autre part, que lors de l'examen psychiatrique du 22 mars 2002, le fils de l'assurée a servi d'interprète, ce qui rendait le rapport établi sur cette base superficiel et pouvant manquer d'objectivité, de sorte qu'il était dénué de valeur probante et que l'examen psychiatrique ne saurait être retenu. Par jugement du 28 août 2003, la juridiction cantonale a annulé la décision attaquée, la cause étant renvoyée à l'office AI pour qu'il procède à un complément d'instruction par une expertise psychiatrique à confier à un expert neutre puis rende telle nouvelle décision que de droit. Elle a considéré que les conclusions des médecins du SMR dans leur rapport d'examen clinique bidisciplinaire étaient mises en doute par le rapport des médecins de l'Hôpital P._ du 26 juin 2003, d'une part, et, d'autre part, que lors de l'examen psychiatrique du 22 mars 2002, le fils de l'assurée a servi d'interprète, ce qui rendait le rapport établi sur cette base superficiel et pouvant manquer d'objectivité, de sorte qu'il était dénué de valeur probante et que l'examen psychiatrique ne saurait être retenu. C. L'Office de l'assurance-invalidité pour le canton de Vaud interjette recours de droit administratif contre ce jugement, en concluant à l'annulation de celui-ci. O._ conclut, sous suite de frais et dépens, au rejet du recours. L'Office fédéral des assurances sociales n'a pas déposé d'observations. 