Faits: A. A.a Le 13 juillet 1998, C._ (née en 1971), mariée et mère de deux enfants nés en 1994 et en 1996, a déposé une demande de prestations de l'assurance-invalidité auprès de l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI). Dans un rapport du 11 août 1998, le docteur R._, chirurgien-chef de l'Hôpital X._ a indiqué que l'intéressée, atteinte d'une tumeur desmoïde de la paroi abdominale, avait subi trois opérations (en juillet, août et septembre 1997), à la suite desquelles la paroi abdominale restait faible et nécessitait le port permanent d'une ceinture élastique de contention qui occasionnait des douleurs lors du port de charges. Il a conclu que la profession de vendeuse exercée par la patiente n'était plus adaptée, mais qu'un travail à plein temps dans une activité ne nécessitant pas de travaux physiques pouvait être envisagée sans difficulté (rapport du 11 août 1998). De son côté, le docteur G._, médecin traitant, a fait état d'un status après trois interventions pour tumeur desmoïde de la paroi abdominale, ainsi que d'un état dépressivo-anxieux probablement secondaire, pour lequel il avait instauré un traitement d'antidé-presseurs ayant légèrement amélioré la situation de sa patiente. Attestant d'une incapacité de travail ininterrompue depuis le 22 août 1997, il a précisé que l'activité de vendeuse n'était plus adaptée et que des mesures professionnelles étaient prématurées (rapports des 24 août 1998 et 26 juillet 1999). Après avoir recueilli de nouveaux avis des docteurs G._ (rapport du 28 mars 2000) et R._ (rapports des 10 et 13 juillet 2000), l'office AI a mis en oeuvre une enquête économique sur le ménage, le 17 juin 2002, dont il ressortait que l'assurée présentait un taux d'invalidité dans l'activité ménagère de 48,1 % pour la période de juin 1996 à août 2000. Lors d'un entretien avec un collaborateur de l'office AI, C._ a déclaré que sans atteinte à la santé, elle aurait repris une activité à plein temps en septembre 2000, son enfant cadet ayant alors commencé l'école enfantine (rapport de la division administrative de l'office AI du 31 août 2001). Sur requête de l'administration, l'assurée a été soumise à un examen bidisciplinaire auprès de la doctoresse L._, psychiatre, et du docteur A._, généraliste, tous deux médecins auprès du Service médical régional AI (SMR). Dans leur rapport du 9 janvier 2003, ces médecins ont conclu à une capacité de travail entière sur le plan psychique à la suite d'une amélioration de son état de santé six mois auparavant; sur le plan somatique, ils ont retenu une pleine capacité de travail dans une activité adaptée dès le mois de juin 2002. Le 23 septembre 2004, l'office AI a rendu deux décisions par lesquelles il a octroyé à C._ une demi-rente d'invalidité du 1er août 1998 au 30 novembre 2000, fondée sur un empêchement dans la tenue du ménage de 48,1 % (l'assurée, qui devait être considérée comme non active d'août 1997 à août 2000, réalisant les conditions du cas pénible), puis une rente entière du 1er décembre 2000 au 31 mai 2002, fondée sur un taux d'invalidité de 50 % (en reconnaissant à l'assurée le statut de personne active à partir de septembre 2000). En bref, il a considéré que l'intéressée ne présentait plus de préjudice économique à partir de juin 2002, puisqu'elle pouvait mettre en oeuvre une pleine capacité de travail dans une activité adaptée dès cette date. A.b C._ s'étant opposée aux décisions du 23 septembre 2004 en faisant valoir une aggravation de son état de santé (avis du docteur G._ du 9 décembre 2004), l'office AI a requis des renseignements complémentaires du collaborateur ayant effectué l'enquête sur le ménage (réponses du 20 décembre 2005) et chargé le SMR d'un nouvel examen de l'intéressée, qui a été effectué par les docteurs U._, spécialiste en médecine physique et rééducative, et N._, psychiatre. Dans leur rapport du 26 juillet 2006, les médecins ont diagnostiqué, avec répercussion sur la capacité de travail, des douleurs chroniques de la paroi abdominale gauche et un status après résection du quadrant inférieur de la musculature abdominale gauche, les autres diagnostics (status après hystérectomie [en 2002], surcharge pondérale, exagération des plaintes pour raisons assécurologiques et trouble dépressif récurrent, épisode actuel léger sans syndrome somatique [F33.00]) étant sans répercussion sur la capacité de travail. Selon eux, moyennant le respect de certaines limitations (pas de port de charges de plus de 5kg, port d'une ceinture abdominale pour les activités physiques, pas de position assise au-delà d'une heure et quart, pas de position debout de plus de trente minutes, pas de marche de plus d'une heure, pas de position du tronc en antéflexion ou en porte-à-faux et possibilité de varier les positions au minimum une fois par heure de préférence à sa guise), la capacité de travail de l'assurée était de 50 % dans une activité de vente de produits alimentaires et de 100 % dans une activité adaptée. Se fondant sur ces conclusions, l'office AI a, le 4 octobre 2006, partiellement admis l'opposition de l'assurée, en ce sens qu'il a fixé au 1er juillet 1998 le début du droit à un quart de rente d'invalidité (confirmant pour le surplus ses décisions du 23 septembre 2004). Par décision du 24 octobre 2006, l'office AI a fixé à 1'656 fr. la demi-rente de l'assurée pour le mois de juillet 1998 (y compris les demi-rentes complémentaires pour enfant et les intérêts moratoires). B. B.a C._, qui avait entre-temps quitté la Suisse pour s'installer à l'étranger, a déféré ces décisions au Tribunal cantonal des assurances sociales du canton de Vaud (aujourd'hui: Cour des assurances sociales du Tribunal cantonal du canton de Vaud). Par jugement du 8 avril 2008, celui-ci a admis les recours et renvoyé la cause à l'office AI "pour qu'il procède à un nouvel examen psychiatrique, conformément aux considérants", puis rende une nouvelle décision. En bref, il a considéré que le docteur N._ n'était pas un spécialiste en psychiatrie et que, de ce fait, la valeur probante de son rapport était affaiblie, de sorte qu'un complément d'instruction sur le plan psychiatrique s'imposait. B.b Reprenant l'instruction du cas, l'office AI a demandé au docteur T._, psychiatre au SMR, de se prononcer sur l'appréciation du docteur N._. Dans son rapport du 11 novembre 2008, le docteur T._ a approuvé, après avoir analysé les différentes pièces médicales au dossier, les motifs et les conclusions posées par le docteur N._ lors de l'examen bidisciplinaire du 27 avril 2006. Par deux décisions du 7 avril 2009, l'office AI a octroyé à l'assurée une demi-rente d'invalidité pour la période du 1er juillet 1998 au 30 novembre 2000, puis une rente entière du 1er décembre 2000 au 31 août 2002. B.c Statuant le 4 février 2011 sur le recours formé par C._ contre ces deux décisions, la Cour des assurances sociales du Tribunal cantonal du canton de Vaud l'a partiellement admis. Réformant la décision du 7 avril 2009 portant sur la rente entière à partir du 1er décembre 2000, il a reconnu à l'intéressée le droit à cette prestation du 1er décembre 2000 au 28 février 2003, et confirmé, pour le surplus, les décisions administratives. C. C._ interjette un recours en matière de droit public contre ce jugement, dont elle demande l'annulation. Elle conclut, sous suite de frais et dépens, principalement à l'octroi d'une rente entière, non limitée dans le temps, dès le 1er juillet 1998; subsidiairement, elle requiert le renvoi de la cause à l'autorité cantonale pour complément d'instruction sous la forme d'une expertise confiée à un spécialiste psychiatre neutre et indépendant, puis nouvelle décision. L'office AI conclut implicitement au rejet du recours tandis que l'Office fédéral des assurances sociales (OFAS) a renoncé à se déterminer. 