Faits: A. Par décision du 13 octobre 2000, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a rejeté la demande de prestations de l'assurance-invalidité présentée par O._ (née en 1964) le 26 mars 1998. Cette décision a été annulée sur recours successifs de l'assurée par le Tribunal fédéral des assurances, qui a renvoyé la cause à l'administration pour qu'elle mette en oeuvre une expertise psychiatrique, voire pluridisciplinaire (arrêt I 319/02 du 19 février 2003). En conséquence, l'office AI a chargé l'Unité d'expertise médicale de la Clinique X._ (devenue Centre d'expertises médicales; ci-après: Y._) d'examiner l'assurée. Dans leur rapport rendu le 17 mai 2004, les experts P._, M._ et S._ ont notamment diagnostiqué un épisode dépressif moyen à sévère sans syndrome somatique et un syndrome douloureux somatoforme persistant sous forme principalement de rachialgies. Ils ont retenu que la capacité de travail n'était alors pas supérieure à 30 %, mais qu'elle pouvait a priori être améliorée avec une prise en charge thérapeutique et une médication. Après avoir recueilli l'avis du docteur E._, psychiatre traitant, l'office AI a derechef rejeté la demande, au motif que l'atteinte à la santé psychique dont souffrait l'intéressée n'était pas invalidante (décision du 12 juillet 2004). O._ s'est opposée à cette décision en concluant à l'octroi d'une rente entière d'invalidité dès le 1er octobre 1998. A la demande de l'office AI, elle s'est soumise à un examen bidisciplinaire auprès du SMR, où les docteurs F._ et C._ ont conclu à l'absence de toute pathologie somatique ou psychique ayant une répercussion sur la capacité de travail (rapport du 10 novembre 2005). Par la suite, le docteur U._ du SMR a fait état d'une incapacité de travail de 70 % entre le 1er décembre 2003 (début du suivi chez le docteur E._) et l'été 2005 (après la naissance du troisième enfant de l'assurée), en raison d'un trouble dépressif (avis du 28 juin 2006). Fort de ces conclusions, l'office AI a admis partiellement l'opposition de l'intéressée, par décision du 19 février 2007; il lui a accordé une rente entière d'invalidité, fondée sur un taux d'invalidité de 70 %, du 1er décembre 2004 au 30 septembre 2005. B. Saisi d'un recours de l'assurée contre cette décision, le Tribunal des assurances du canton de Vaud (aujourd'hui, Tribunal cantonal, Cour des assurances sociales) a demandé des renseignements complémentaires auprès de Y._ (avis du docteur P._ du 21 avril 2008). Statuant le 2 décembre 2008, il a débouté l'assurée. C. O._ interjette un recours en matière de droit public contre ce jugement dont elle demande principalement la réforme, en ce sens qu'une rente entière d'invalidité lui soit accordée à partir du 1er octobre 1998. A titre subsidiaire, elle demande l'annulation du jugement cantonal et le renvoi de la cause au Tribunal cantonal vaudois pour instruction complémentaire sous la forme d'une expertise pluridisciplinaire auprès de Y._, puis nouvelle décision. Elle sollicite par ailleurs le bénéfice de l'assistance judiciaire. L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales ne s'est pas déterminé. 