Faits: A. A.a O._, né en 1965, a travaillé en qualité de man?uvre dans le secteur de la construction. Victime d'un accident professionnel le 21 juin 1993, il a requis le 24 février 1994 des prestations de l'Office de l'assurance-invalidité du canton de Genève (ci-après: l'office AI) en raison d'un syndrome vertébral lombaire post-traumatique aigu sur hernie discale L5-S1 postero-latérale droite. Dans le cadre de l'instruction de la demande, l'office AI a recueilli l'avis du docteur R._, spécialiste FMH en chirurgie orthopédique et médecin traitant. Celui-ci a indiqué que l'intéressé était totalement incapable d'exercer son activité habituelle mais pouvait accomplir une activité plus légère ne nécessitant ni efforts ni port de charges (rapport du 17 juin 1994). L'administration a confié la réalisation d'une expertise au docteur S._, spécialiste FMH en médecine interne et en médecine du travail, qui a conclu à l'existence d'une capacité de travail entière dans une activité ne demandant pas un effort physique trop important et permettant de fréquents changements de positions. L'expert préconisait en outre une mesure d'observation professionnelle (rapport du 2 septembre 1994). Un stage effectué par l'assuré du 14 août au 13 novembre 1995 auprès du Centre X._ a mis en évidence une pleine capacité de travail dans une activité évitant le port de charges et permettant d'alterner les positions (rapport du 10 novembre 1995). Interpellé par l'administration, le docteur R._ a signalé que l'état du patient allait en s'aggravant après la survenance d'une décompensation douloureuse; il a considéré que l'incapacité de travail était totale (rapport du 7 février 1997). Après entretiens avec l'assuré, la Division de réadaptation professionnelle a proposé de ne retenir au titre de l'exigibilité qu'une activité adaptée en atelier protégé, l'état psychique de l'assuré paraissant extrêmement inquiétant (rapport du 7 avril 1997). Par décision du 23 septembre 1997, l'office AI a reconnu le droit de O._ à une rente entière d'invalidité à partir du 1er juin 1994, prestation fondée sur une perte de gain de 80%. A.b Dans le cadre d'une procédure de révision ouverte en 2004, le docteur R._ a indiqué à l'office AI que l'état de santé de l'assuré n'avait pas subi de changement depuis 1994 (rapport du 13 juillet 2004). L'administration a alors informé O._ que son droit à la rente n'était pas modifié (communication du 16 juillet 2004). A.c Ayant initié une nouvelle procédure de révision, l'office AI a sollicité le docteur K._, spécialiste FMH en médecine pratique et médecin traitant, lequel a déclaré que l'état de santé de O._ était stationnaire depuis 2004 et que la capacité de travail était nulle dans toute activité (rapport du 16 octobre 2009). Sur la base de ces éléments, l'administration a mandaté Y._. Les docteurs G._ et B._, spécialistes FMH en rhumatologie et en médecine interne, ainsi que Z._, spécialiste FMH en psychiatrie et psychothérapie, ont constaté des discordances entre les plaintes de l'assuré et les éléments somatiques objectifs ainsi qu'un phénomène d'amplification évident: l'intéressé, qui affirmait souffrir de douleurs nécessitant un repos permanent, n'avait présenté aucune limitation de l'appareil locomoteur lors de l'observation et la musculature de ses membres inférieurs était bien développée, avec des callosités plantaires marquées; en outre, il ne consultait plus pour le dos et n'avait plus suivi de traitement spécifique de physiothérapie depuis de nombreuses années. Ces éléments étaient selon les experts des signes d'une amélioration de l'état de l'appareil locomoteur et ils ont considéré que la capacité de travail était entière dans toute activité ne nécessitant pas de manière répétée le port de charges supérieures à 30 kilogrammes (rapport du 3 septembre 2010). Sur la base d'un avis de la doctoresse H._, de son Service médical régional (rapport du 25 novembre 2010), entérinant les conclusions des experts, l'office AI a considéré que l'état de santé de l'assuré s'était amélioré et l'a informé le 7 mars 2011 qu'il envisageait de supprimer sa rente d'invalidité. O._ s'étant opposé à ce projet de décision, l'administration a sollicité le docteur L._, spécialiste FMH en psychiatrie et psychothérapie d'enfants et d'adolescents et médecin traitant, lequel a considéré que la capacité de travail dans l'activité habituelle, actuellement nulle, pourrait être améliorée et atteindre 50% en 2012 (rapport du 30 avril 2011). De son côté, l'assuré a transmis le 26 mai 2011 à l'office AI un complément apporté par le docteur K._ au rapport du docteur L._. Par décision du 26 septembre 2011, l'office AI a confirmé sa position et supprimé le droit de l'assuré à une rente d'invalidité dès le premier jour du 2ème mois suivant la notification de la décision. B. La Cour de justice de la République et canton de Genève, Chambre des assurances sociales, a rejeté par jugement du 31 janvier 2012 le recours formé par l'assuré contre cette décision. C. O._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut au maintien de sa rente entière d'invalidité, subsidiairement au renvoi de la cause à la Cour de justice de la République et canton de Genève pour nouvelle décision après mise en ?uvre d'une expertise ou, éventuellement, pour nouvelle décision dans le sens des considérants. L'office AI conclut au rejet du recours tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. L'assuré a déposé deux écritures complémentaires, les 20 avril et 3 août 2012 (date du timbre postal). 