Faits: Faits: A. F._, née en 1957, mariée et mère d'une fille, travaillait en qualité de femme de ménage à raison de huit heures par semaine. Simultanément, elle s'occupait à raison de quelques heures par jour, cinq jours par semaine, de la conciergerie de plusieurs immeubles. Le 9 février 1999, elle a présenté une demande tendant à l'octroi d'une rente de l'assurance-invalidité. L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a recueilli des renseignements auprès des employeurs de l'assurée, ainsi que différents rapports médicaux, dont ceux du docteur C._, médecin traitant. Celui-ci a posé les diagnostics de fibromyalgie, côlon irritable, hernie hiatale par glissement et ancienne borréliose et attesté d'une incapacité de travail de 70 % à partir du 5 janvier 1999 (rapport du 20 mars 1999). Chargé d'une expertise par l'office AI, le Professeur G._, médecin-chef du Service de rhumatologie, médecine physique et réhabilitation de l'Hôpital X._, a diagnostiqué notamment des troubles somatoformes douloureux. Selon lui, sur le plan purement somatique, l'assurée ne présentait aucune atteinte ou anomalie à la santé susceptible d'expliquer une incapacité de travail comme femme de ménage ou concierge; il convenait cependant d'admettre, vu la présence de nombreux troubles fonctionnels, une limitation dans les deux activités exercées, la capacité résiduelle de travail dans l'un ou l'autre travail étant de 70 % depuis le mois de janvier 1999 (rapport du 15 août 2000). Se fondant sur ces conclusions, l'office AI a rejeté la demande de prestations par décision du 30 novembre 2000, au motif que l'assurée ne présentait pas d'atteinte à la santé invalidante. Se fondant sur ces conclusions, l'office AI a rejeté la demande de prestations par décision du 30 novembre 2000, au motif que l'assurée ne présentait pas d'atteinte à la santé invalidante. B. L'assurée a déféré cette décision au Tribunal des assurances du canton de Vaud, en concluant au renvoi de la cause à l'administration pour complément d'instruction sur le plan médical. Le tribunal a confié une expertise au docteur E._, psychiatre et psychothérapeute FMH. Se prononçant dans un rapport du 27 octobre 2002, complété, à la demande de la juridiction cantonale, le 14 novembre 2003, le médecin a fait état de différents troubles psychiques (notamment, troubles de la personnalité, évolution hypocondriaque, trouble somatoforme douloureux persistant) en raison desquels l'assurée présentait une incapacité de travail de 70 % dans toute activité. Suivant les conclusions de l'expertise, le Tribunal des assurances vaudois a, par jugement du 24 mars 2004, admis le recours et réformé la décision entreprise, en ce sens que F._ a droit à une rente entière de l'assurance-invalidité dès le 1er janvier 2000. Suivant les conclusions de l'expertise, le Tribunal des assurances vaudois a, par jugement du 24 mars 2004, admis le recours et réformé la décision entreprise, en ce sens que F._ a droit à une rente entière de l'assurance-invalidité dès le 1er janvier 2000. C. L'office AI interjette un recours de droit administratif contre ce jugement, dont il demande l'annulation. L'assurée conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales (OFAS) préavise en faveur de l'admission de celui-ci. 