Faits: A. A.a D._, né en 1960, a exercé, depuis 1987, la profession de maçon auprès de l'entreprise X._ SA. En raison d'une allergie au ciment, il a déposé en 1994 une demande de prestations de l'assurance-invalidité qui a été classée en janvier 1995. Victime d'une chute quelque temps plus tard, il a subi une fracture de la cheville droite avec écrasement du pilon tibial droit; le traitement par ostéosynthèse s'est compliqué par un ulcère de la plaie. Le 2 février 1999, il a présenté une deuxième demande de prestations qui a été refusée par l'Office de l'assurance-invalidité du canton de Genève (ci-après: l'office AI) par décision sur opposition du 12 mars 2004. Saisi d'un recours de l'assuré, le Tribunal cantonal des assurances sociales (aujourd'hui: Cour de justice de la République et canton de Genève, Chambre des assurances sociales) l'a partiellement admis, octroyant à celui-ci une rente d'invalidité du 1er août 1999 au 31 mars 2001, et des mesures de reclassement (arrêt du 20 décembre 2004). A.b A la suite de cet arrêt, une mesure de reclassement sous la forme d'un stage a été mise en place; elle a été prématurément interrompue, l'assuré ayant présenté un certificat médical d'incapacité de travail. L'office AI a alors chargé son Service médical Régional (SMR) de réaliser un examen rhumato-psychiatrique de l'assuré. Selon les conclusions des docteurs N._, médecin-chef du SMR, R._, spécialiste FMH en médecine physique et rééducation, et B._, ancien chef de clinique adjoint en psychiatrie, l'assuré présentait une incapacité de travail dans toute forme d'activité à caractère physique depuis le 18 août 1998; en revanche, une activité sédentaire était possible à 100% depuis novembre 2000, avec une diminution de rendement de 25% compte tenu des limitations fonctionnelles - pas de montée ou de descente d'escaliers, diminution du périmètre de marche à 200 mètres, pas de port de charges supérieures à 5kg ou de position statique debout plus de 5 à 10 minutes, pas de position en porte-à-faux ou en antéflexion du rachis contre résistance, pas de position en génuflexion ou de position accroupie à répétition, pas d'activité en terrain instable ou en hauteur et pas de position assise plus de trois quarts d'heure sans alterner les positions assis/debout - et de la symptomatologie algique persistante (cf. rapport du 30 octobre 2007). Par projets de décision du 2 juillet 2008, confirmés par décisions du 20 octobre 2008, l'office AI a nié le droit de l'assuré à une rente d'invalidité - sur la base d'un taux d'invalidité de 38,7% - et à une mesure de reclassement. A.c Le 13 décembre 2010, l'assuré a déposé une nouvelle demande de prestations. Invité à rendre plausible une péjoration de son état de santé, D._ a produit deux rapports de la doctoresse A._, spécialiste FMH en médecine générale et médecin traitant. Après avoir consulté son médecin conseil (cf. avis du 9 mars 2011), l'office AI a informé l'intéressé qu'il n'entrerait pas en matière sur sa nouvelle demande, dès lors qu'il n'avait pas rendu «vraisemblable que les conditions de fait s'étaient modifiées de manière notable» (projet de décision du 21 mars 2011). L'assuré a alors transmis un rapport (du 9 février 2011) portant sur des radiographies de la cheville droite, sur lequel le SMR s'est prononcé (avis du 3 mai 2011). Par décision du 8 juin 2011, l'office AI a formellement confirmé son refus d'entrer en matière. B. D._ a déféré cette décision à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, en produisant de nouveaux rapports médicaux. Statuant le 14 novembre 2011, la Cour de justice de la République et canton de Genève a débouté l'assuré. C. D._ interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation. Sous suite de frais et dépens, il conclut principalement à l'octroi d'une rente entière d'invalidité à compter du 1er mai 2009 et subsidiairement au renvoi de la cause au Tribunal cantonal pour qu'il statue à nouveau au sens des considérants. Il sollicite également le bénéfice de l'assistance judiciaire. Le Tribunal fédéral renonce à procéder à un échange d'écritures. 