Faits: A. A.a V._ (né en 1952) a été engagé en qualité d'acheteur pour les services généraux auprès de la société X._ SA à partir du 1er juin 2005. En vue de son affiliation à la Caisse de retraite X._, gérée par la Fondation de prévoyance X._ en faveur du personnel des sociétés affiliées ou apparentées au holding X._ S.A. (ci-après: la fondation), il a rempli et signé une "Déclaration de santé" (le 8 juin 2005). Il a répondu "oui" à la question: "Etes-vous actuellement en pleine capacité de travail?". Il a répondu "non" aux questions: "Avez-vous dû, au cours des 5 dernières années, interrompre votre travail totalement ou partiellement durant plus de 4 semaines en raison d'une maladie ou d'un accident?" et "Etes-vous actuellement en traitement médical?". Il a été affilié sans réserve à l'institution de prévoyance, ce dont il a été informé par courrier du 16 août 2005. Après que V._ a été mis en arrêt de travail à partir du 19 décembre 2005 et que les rapports de travail ont pris fin au 31 décembre suivant, le prénommé a présenté une demande de prestations de l'assurance-invalidité. Il a été mis au bénéfice d'une rente entière de cette assurance à partir du 1er décembre 2006. A.b A la demande de l'institution de prévoyance, son médecin conseil, le docteur B._, spécialiste FMH en médecine interne, a examiné V._ le 13 juin 2006. Par courrier du 5 juillet 2006 à la fondation, le médecin a indiqué s'être rendu compte que le prénommé souffrait d'un trouble dépressif majeur récurrent, d'un diabète et d'une hypertension artérielle non mentionnés dans le questionnaire d'admission. Le 12 juillet suivant, la fondation a requis de son médecin conseil d'établir "une réserve pour les troubles de santé récurrents et existant préalablement à la date d'affiliation au 1er juin 2005". Cette "réserve médicale" selon laquelle "sont réservés les troubles de l'humeur, le diabète et l'hypertension artérielle ainsi que leurs conséquences" a été jointe par la fondation à un courrier adressé le 21 août 2006 à V._. L'institution de prévoyance lui indiquait devoir revenir sur son courrier du 16 août 2005 dans lequel elle confirmait l'affiliation sans réserve, parce qu'il souffrait d'une affection chronique peu compatible avec une absence de traitement médical à la date de son engagement au sein de la société X._ SA. Elle lui confirmait par ailleurs son affiliation dès le 1er juin 2005 avec des conditions d'assurance modifiées en fonction de la réserve médicale proposée par son médecin conseil et débutant dès le 1er juin 2005 pour une durée de cinq ans. Conformément à la requête de la fondation, V._ a signé une copie de la lettre du 21 août 2006 qu'il lui a renvoyée. La fondation l'ayant prié de compléter son analyse de la situation médicale de l'intéressé, le docteur B._ a pris contact avec les médecins traitants et requis le dossier de l'assurance-invalidité, qui comprenait notamment un rapport du docteur H._, spécialiste FMH en neurologie, du 28 juin 2004. Sur la base de ces informations, il a indiqué, le 13 décembre 2007, que V._ présentait une incapacité totale de travail qui risquait d'être définitive, en raison avant tout de troubles neurologiques liés à une probable complication du diabète dont souffrait l'intéressé, qui s'était manifestée en juin 2004 mais dont celui-ci ne lui avait pas parlé lors de l'examen deux ans plus tard. Par courrier du 9 janvier 2008, la fondation a informé V._ qu'elle ne pouvait pas l'"affilier au plan de rentes aux conditions normales", parce qu'il n'avait pas rempli véridiquement la déclaration de santé à l'entrée et qu'il avait tu certains éléments au docteur B._ lors de l'examen du 13 juin 2006. L'ensemble des prestations décès et invalidité était dès lors réduit aux prestations minimales selon la LPP, la réserve commençant dès l'affiliation et étant valable pour une durée de cinq ans. Par courrier du 24 juillet 2008, la fondation a informé V._ qu'elle lui allouait une rente d'invalidité de 566 fr. par mois à compter du 19 décembre 2007. En raison des fausses informations contenues dans le formulaire d'affiliation, seules les prestations conformes au minimum LPP lui étaient versées. B. Après avoir requis en vain de l'institution de prévoyance le versement de prestations de la prévoyance surobligatoire, V._ a, par écriture datée du 26 juin 2009, assigné la fondation devant le Tribunal cantonal, Cour des assurances sociales, du canton de Vaud en paiement de 48'067 fr. avec intérêts à 5 % dès le 15 août 2008 et, à compter du jour de la demande, d'une rente annuelle de 37'150 fr. (soit 3096 fr. par mois). La fondation a conclu au rejet de la demande. Entre autres mesures d'instruction, la Cour des assurances sociales du Tribunal cantonal vaudois a requis des renseignements du docteur B._, qui a répondu le 27 juin 2011. Statuant le 13 septembre 2011, elle a débouté l'intéressé de ses conclusions. C. Agissant par la voie du recours en matière de droit public, V._ demande au Tribunal fédéral de réformer le jugement cantonal, en ce sens que la fondation soit reconnue lui devoir un montant qui n'est pas inférieur à 116'372 fr. 35, avec intérêts à 5 % l'an dès le 1er octobre 2009, ainsi qu'une rente annuelle dont le montant n'est pas inférieur à 37'150 fr. A titre subsidiaire, il conclut à l'annulation du jugement cantonal et au renvoi de la cause à la juridiction cantonale pour complément d'instruction et nouvelle décision dans le sens des considérants. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire. La fondation conclut, à la forme, à l'irrecevabilité des conclusions du recourant en tant qu'elles constituent une amplification. Sur le fond, elle conclut principalement au rejet du recours et, à titre subsidiaire, au renvoi de la cause à la juridiction cantonale pour instruction et nouveau jugement. L'Office fédéral des assurances sociales a renoncé à se déterminer sur le recours. V._ a maintenu ses conclusions par courrier du 5 mars 2012. 