Faits: A. S._ a travaillé à temps partiel comme réceptionniste-téléphoniste pour le compte de l'Hôpital X._ à partir du 5 mars 1990. A ce titre, elle a été affiliée pour la prévoyance professionnelle auprès de la Fondation de prévoyance professionnelle du Groupement des Hôpitaux Régionaux Vaudois (aujourd'hui : Fondation interprofessionnelle sanitaire de prévoyance [ci-après : la fondation]). En sus de son activité de réceptionniste-téléphoniste, elle a été engagée par l'Hôpital X._ en qualité d'aide-infirmière-veilleuse dès le 1er mai 1993 à raison de 5 à 6 nuits par mois. Elle a renoncé à cette activité avec effet au 31 mars 1994 en raison de lombalgies, de migraines et d'un état dépressif. Tout en poursuivant son activité de réceptionniste-téléphoniste pour le compte de l'Hôpital X._, S._ a été engagée pour le 1er février 1995 par l'ASMADO (Association pour la santé, la prévention, le maintien à domicile et l'aide à la famille des districts de Y._ et de X._) en qualité d'auxiliaire polyvalente auprès du Centre médico-social X._. Il s'agissait d'un travail à la demande rémunéré à l'heure, pour lequel l'employée n'a jamais été affiliée à une institution de prévoyance, faute d'obtenir un salaire atteignant le minimum LPP. Elle a dû cesser cette activité pour le 31 janvier 1997, également pour des raisons de santé. En effet, selon un rapport du 5 février 1997 du docteur M._, spécialiste FMH en médecine interne et rhumatologie et médecin traitant, S._ présentait une incapacité totale de travail dans son activité d'aide-soignante depuis le 12 septembre 1996. Ce médecin avait précédemment constaté que les atteintes à la santé existaient depuis de nombreuses années, mais n'avait retenu une capacité de travail réduite de 50 % dans une activité légère qu'à partir de septembre 1996 (rapport du 24 décembre 1996). Le 15 décembre 1996, l'assurée a déposé une demande de prestations de l'assurance-invalidité. Par décision du 26 janvier 1998, l'Office de l'assurance-invalidité pour le canton de Vaud a alloué à S._ une demi-rente d'invalidité à compter du 1er septembre 1997. La rente a été réduite à un quart de rente avec effet au 1er avril 2007, puis portée à nouveau à une demi-rente à partir du 1er septembre 2009 (décisions des 20 février 2007 et 31 août 2009). B. Le 20 mars 2008, S._ a ouvert action contre la fondation devant le Tribunal cantonal du Canton de Vaud, Cour des assurances sociales, concluant au versement d'une demi-rente d'invalidité pour la période de septembre 1997 à mars 2007, d'un quart de rente pour la période d'avril 2007 à juillet 2007 et à nouveau d'une demi-rente dès août 2007, ainsi que d'une demi-rente pour enfant pour la période de septembre 1997 à mars 1999. Par jugement du 5 mars 2011, la juridiction cantonale a rejeté la demande. C. S._ interjette un recours en matière de droit public contre ce jugement. Elle conclut principalement à la réforme du jugement cantonal au sens de ses conclusions de première instance et, subsidiairement, au renvoi de l'affaire pour nouvelle décision. Elle sollicite également le bénéfice de l'assistance judiciaire. D. La fondation conclut, sous suite de frais et dépens, au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer. E. S._ a fait usage de son droit de réplique en présentant des observations datées du 18 octobre 2011. 