Faits: A. A.a Par demande du 7 mars 1997, V._ a requis l'octroi de prestations de l'assurance-invalidité auprès de l'Office de l'assurance-invalidité du canton de Genève (ci-après: l'office AI), à la suite d'une incapacité de travail survenue en 1996 en raison de douleurs lombaires et de sciatalgies postérieures droites. Entre autres mesures d'instruction, l'office AI a versé à la procédure le dossier constitué par l'assurance perte de gain en cas de maladie qui était intervenue pour les mêmes raisons. Celle-ci avait notamment recueilli l'avis du docteur A._, spécialiste FMH en médecine interne générale et médecine du travail, qui avait diagnostiqué un syndrome somatoforme douloureux et retenu une incapacité totale de travail depuis août 1996 (cf. rapport du 5 avril 2000). L'office AI a aussi confié la réalisation d'une expertise au centre d'observation médicale de l'assurance-invalidité (COMAI) de l'Hôpital Y_ (Servizio accertamento medico dell'assicurazione invalidità; SAM). Dans leur rapport du 7 novembre 2000, les docteurs B._ et I._, tous deux spécialistes FMH en médecine générale, ont notamment diagnostiqué un trouble dysthymique et un syndrome lombo-vertébral sur composante radiculaire S1 à droite et sur hernie discale L5-S1 médiane et paramédiane à droite; la capacité résiduelle de travail globale était de 70 à 75 % dans une activité adaptée. Par décisions des 8 octobre 2001, 23 janvier et 1er février 2002, l'office AI a reconnu à l'assuré le droit à une rente entière d'invalidité à partir du 1er août 1997, fondée sur un taux d'invalidité de 100 %, puis à une demi-rente d'invalidité pour cas pénible dès le 1er mars 2000, fondée sur un taux d'invalidité de 45 %, laquelle a été ramenée à un quart de rente le 1er janvier 2004 (cf. décision du 6 janvier 2004) à la suite de la suppression des rentes pour cas pénibles consécutive à l'entrée en vigueur de la 4ème révision de la loi sur l'assurance-invalidité. Le Tribunal cantonal des assurances sociales de la République et canton de Genève (ci-après: le Tribunal cantonal des assurances sociales; aujourd'hui la Cour de justice de la République et canton de Genève, Chambre des assurances sociales) a confirmé ces décisions par jugement du 11 août 2004. A.b Invoquant une modification de son état de santé, V._ a déposé le 14 décembre 2004 une demande de révision de son droit à la rente auprès de l'office AI, laquelle a été refusée par décision du 16 février 2006. A la suite de l'opposition formée par l'assuré, l'office AI l'a soumis à une expertise auprès du COMAI de Z._ (Centre d'expertises médicales; CEM). Dans leur rapport du 28 mars 2007, les docteurs P._, spécialiste FMH en médecine interne, S._, spécialiste FMH en psychiatrie, et C._, spécialiste FMH en rhumatologie, ont diagnostiqué, avec répercussion sur la capacité de travail, un syndrome douloureux somatoforme persistant (F47.4), un épisode dépressif sévère sans symptôme psychotique (F32.2), une personnalité dépendante (F60.7) et un retard mental sans précision (F79); la capacité résiduelle de travail était de 30 % dans une activité adaptée. Par décision sur opposition du 17 janvier 2008, l'office AI a refusé de réviser le droit à la rente, au motif que l'état de santé ne s'était pas modifié de façon notable. Statuant le 19 août 2008 sur le recours formé par V._, le Tribunal cantonal des assurances sociales lui a reconnu le droit à une rente entière d'invalidité à partir du 1er novembre 2006. Se fondant sur le rapport des médecins du CEM, il a constaté que l'état de santé psychique s'était progressivement aggravé depuis 2001, jusqu'à justifier une incapacité de travail de 70 % à partir du mois de novembre 2006. B. B.a Entre temps, V._ avait requis l'octroi de prestations de la Caisse paritaire de prévoyance de l'industrie et de la construction (ci-après: la caisse) auprès de laquelle il était affilié jusqu'au 31 décembre 1998. Par communication du 16 juin 2004, celle-ci lui a accordé une rente entière d'invalidité pour la période du 1er août 1997 au 29 février 2000, en précisant qu'une invalidité inférieure à 50 % au sens de l'assurance-invalidité n'ouvrait pas le droit à des prestations de la prévoyance professionnelle au vu des dispositions légales. B.b A la suite du jugement rendu le 19 août 2008 par le Tribunal cantonal des assurances sociales, l'assuré a requis le versement des rentes d'invalidité corrélatives auprès de la caisse. Celle-ci a refusé de prester, au motif que l'aggravation de l'état de santé résultait de troubles psychiques dont l'origine était postérieure à son affiliation auprès d'elle (cf. courrier du 4 mars 2009). C. Par demande du 25 mars 2011, V._ a ouvert action en paiement contre la caisse devant la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, qui l'a débouté par jugement du 8 novembre 2011. D. V._ interjette un recours en matière de droit public à l'encontre de ce jugement dont il demande l'annulation. Il conclut, principalement, au renvoi de la cause à la juridiction cantonale pour complément d'instruction et, subsidiairement, au versement d'un quart de rente d'invalidité de la prévoyance professionnelle à partir du 1er janvier 2005, avec intérêts à 5 % l'an dès le 1er décembre 2005, et d'une rente entière à partir du 1er novembre 2006, avec intérêts à 5 % l'an dès cette date, le tout sous suite de dépens. La caisse conclut à la confirmation du jugement cantonal, tandis que l'Office fédéral des assurances sociales (OFAS) renonce à se déterminer. 