Faits: Faits: A. L._, née en 1952, sans formation professionnelle, a travaillé en qualité de femme de chambre pour le compte de l'hôtel P._ à G._, depuis le 19 janvier 1990 jusqu'au 30 avril 1997. Parallèlement à cet emploi, elle a travaillé comme nettoyeuse au service de l'entreprise I._ du 1er septembre 1989 au 15 octobre 1996. Souffrant de mal de dos, L._ a déposé le 19 mars 1997 une demande de prestations tendant à l'octroi de mesures médicales de réadaptation spéciales. Par lettre du 24 juillet 1997, l'Office cantonal de l'assurance-invalidité du canton de Genève (ci-après: l'OCAI) a confirmé à l'assurée la prise en charge des frais relatifs à un corset orthopédique. Le 22 octobre 1997, l'assurée a déposé une nouvelle demande de prestations, sous la forme d'une rente. L'OCAI a recueilli divers renseignements médicaux et a confié une expertise pluridisciplinaire à la Policlinique médicale universitaire, Centre médical d'observation de l'assurance-invalidité, à Lausanne. Dans un rapport du 22 mars 2002, les docteurs D._, médecin-chef, E._, médecin-chef adjoint et S._, chef de clinique adjoint, tous trois au service de cet établissement, ont posé un diagnostic avec influence essentielle sur la capacité de travail, à savoir un trouble somatoforme douloureux persistant sous forme principalement de lombalgies, un état dépressif d'intensité moyenne et un trouble mixte de la personnalité, ainsi qu'un diagnostic sans influence essentielle sur la capacité de travail, soit des troubles statiques et dégénératifs radiologiques modérés du rachis dorso-lombaire et spina bifida de S1. Tenant compte des aspects rhumatologiques et psychiatriques, le collège des experts a conclu à une capacité de travail de 50 % dans l'activité de femme de chambre et de 100 % dans les activités ménagères. En dépit des conclusions de l'expertise, l'OCAI a considéré que l'assurée présentait une capacité de travail entière dans l'activité de femme de ménage. Par décision du 3 février 2003, confirmée par décision sur opposition du 20 mai 2003, l'OCAI a refusé à l'assurée l'octroi d'une rente d'invalidité. Par décision du 3 février 2003, confirmée par décision sur opposition du 20 mai 2003, l'OCAI a refusé à l'assurée l'octroi d'une rente d'invalidité. B. Par jugement du 12 août 2004, le Tribunal cantonal des assurances sociales a admis le recours formé par l'assurée contre cette décision. Il s'est fondé sur les conclusions des experts et a retenu une incapacité de travail de 50 %. B. Par jugement du 12 août 2004, le Tribunal cantonal des assurances sociales a admis le recours formé par l'assurée contre cette décision. Il s'est fondé sur les conclusions des experts et a retenu une incapacité de travail de 50 %. C. L'OCAI interjette un recours de droit administratif contre ce jugement, dont il requiert l'annulation, en concluant à la confirmation de sa décision du 20 mai 2003. L'assurée conclut au rejet du recours tandis que l'Office fédéral des assurances sociales propose son admission. 