Faits: Faits: A. P._, née le 30 juillet 1982, souffre d'une infirmité motrice cérébrale sévère. Par lettre du 26 mai 2002, ses parents ont requis de l'AI la prise en charge d'une intervention chirurgicale tendant à l'implantation de lentilles pré-cristalliniennes destinées à corriger ses problèmes de vision (une forte myopie) dus à l'affection congénitale (cf. rapport du professeur G._ du 6 juin 2002). Cette opération a été réalisée en juillet 2002 à l'Hôpital X._. L'Office de l'assurance-invalidité pour le canton de Vaud (office AI) a requis l'avis de l'Office fédéral des assurances sociales (OFAS). Le 3 juillet 2002, l'OFAS a rappelé à l'administration que l'implantation de lentilles pré-cristalliniennes ne faisait pas partie des prestations prises en charge par l'assurance-maladie, si bien que cette intervention ne pouvait pas être financée par l'AI. Par décision du 28 août 2002, l'office AI a rejeté la demande pour ce motif. L'Office de l'assurance-invalidité pour le canton de Vaud (office AI) a requis l'avis de l'Office fédéral des assurances sociales (OFAS). Le 3 juillet 2002, l'OFAS a rappelé à l'administration que l'implantation de lentilles pré-cristalliniennes ne faisait pas partie des prestations prises en charge par l'assurance-maladie, si bien que cette intervention ne pouvait pas être financée par l'AI. Par décision du 28 août 2002, l'office AI a rejeté la demande pour ce motif. B. P._ a déféré cette décision au Tribunal des assurances du canton de Vaud, en concluant à la prise en charge de l'intervention chirurgicale. Dans un rapport du 17 septembre 2002, le professeur G._ et le docteur B._ ont précisé que le port de lunettes ou de lentilles de contact n'entraient pas en ligne de compte pour améliorer l'acuité visuelle. Selon ces médecins, la pose d'implants représentait le seul moyen permettant à l'assurée d'avoir une qualité visuelle suffisante. Par jugement du 18 mars 2004, la juridiction cantonale a admis le recours et réformé la décision administrative, en ce sens que le traitement litigieux a été mis à charge de l'AI. Par jugement du 18 mars 2004, la juridiction cantonale a admis le recours et réformé la décision administrative, en ce sens que le traitement litigieux a été mis à charge de l'AI. C. L'office AI interjette recours de droit administratif contre ce jugement dont il demande l'annulation, ce que l'OFAS propose également. L'assurée intimée conclut au rejet du recours, avec suite de frais et dépens. 