Faits: A. A.a. Le 11 février 2003, J._, né en 1961 et maçon de profession, a déposé une demande de prestations de l'assurance-invalidité (orientation professionnelle et reclassement dans une nouvelle profession) en raison d'une hernie discale. L'instruction de l'affaire par l'Office cantonal genevois de l'assurance-invalidité (ci-après : l'office AI), a établi qu'en mars 2002 l'assuré avait été victime d'une chute sur un chantier, qui a provoqué des douleurs lombaires basses irradiant dans les deux fesses avec prédominance à gauche. Depuis l'accident, J._ a bénéficié de nombreux arrêts de travail jusqu'au 3 septembre 2002, date à partir de laquelle il n'a plus travaillé. Lors d'un séjour du 19 novembre au 3 décembre 2002 au Service de rhumatologie de l'Hôpital X._, la doctoresse S._, rhumatologue, a diagnostiqué des lombalgies communes chroniques et des cervicobrachialgies gauches chroniques (rapport du 4 décembre 2002). Ces atteintes ont été confirmées par les docteurs D._, neurologue (rapport du 10 mars 2003) et G._, spécialiste en médecine interne et rhumatologie (rapport du 24 mars 2003). Le docteur R._, psychiatre, qui a soigné l'assuré depuis le 14 janvier 2003, a diagnostiqué avec répercussion sur la capacité de travail, un épisode dépressif moyen avec symptôme somatique (F 32.1 selon CIM-10) et des troubles somatoformes (F 45.0 selon CIM-10). Il a retenu que J._ n'avait plus de capacité de travail dans l'activité de maçon mais qu'une activité adaptée était exigible à 100 % avec une diminution de rendement qu'il n'a pas chiffrée (rapport du 1er juillet 2003). Dans un rapport du 10 mai 2004, le docteur R._ a complété son diagnostic en y ajoutant des douleurs au membre inférieur droit et des lombalgies. Il n'a pas constaté de trouble de la personnalité et a admis une incapacité totale de travail en raison d'affections physiques et mentales. Le docteur B._, rhumatologue, a posé le diagnostic de trouble somatoforme douloureux et a retenu une probable présence de problèmes psychiatriques. Pour ce médecin, l'assuré était capable, d'un point de vue rhumatologique, de travailler à 50 % dans une activité adaptée respectant les limitations fonctionnelles mentionnées (rapport du 23 août 2004). J._ a été examiné par le docteur U._, spécialiste en médecine physique et rééducation et la doctoresse N._, psychiatre, tous deux médecins au SMR, qui ont diagnostiqué avec répercussion sur la capacité de travail des troubles arthrosiques et statiques modérés du rachis cervical et lombaire (M 54) ainsi que, sans répercussion sur la capacité de travail, un syndrome algique chronique de type fibromyalgie ( M 79.0). Ils ont admis une incapacité de travail de 30 % dans l'activité de maçon alors que, dans une activité adaptée respectant les limitations fonctionnelles décrites, la capacité de travail était entière depuis 2002 (rapport du 20 décembre 2005). Par décision du 27 mars 2006, confirmée sur opposition le 13 novembre 2006, l'office AI a refusé toute prestation. Cette décision n'a pas été contestée et est entrée en force. A.b. Le 21 juin 2007, J._ a déposé une nouvelle demande de prestations de l'assurance-invalidité en vue de l'octroi d'une rente. Dans un rapport du 26 juillet 2007, le docteur L._, neurologue, a diagnostiqué des cervicalgies et des lombalgies pour lesquelles les imageries par résonance magnétique (IRM) n'ont révélé aucune anomalie significative susceptible d'expliquer les plaintes de l'assuré. Pour ce médecin, l'activité de maçon n'était plus exigible mais la capacité de travail restait de 50 % dans un travail léger non pénible. Dans son rapport du 3 août 2007, la doctoresse C._, psychiatre traitant depuis le 2 août 2006, a retenu un état de santé s'aggravant et a diagnostiqué un trouble dépressif récurrent, épisode actuel sévère sans symptômes psychotiques (F 33.2 selon CIM-10). Le 6 juin 2008, l'office AI a confié un mandat d'expertise au docteur A._, psychiatre. Dans son rapport du 7 janvier 2009, l'expert a diagnostiqué un trouble somatoforme douloureux persistant (F 45.1 selon CIM-10), ainsi qu'un trouble dépressif récurrent, épisode actuel léger avec syndrome somatique (F 33.01 selon CIM-10). Il est arrivé à la conclusion qu'en raison de la chronicité et de la rigidité des processus pathologiques chez l'assuré, il n'était pas possible d'envisager la reprise d'une activité professionnelle que ce soit dans la profession habituelle ou dans une activité adaptée. Le docteur M._, spécialiste en médecine interne générale et médecin au SMR, s'est déclaré d'accord avec le diagnostic de l'expert A._ mais il a contesté son appréciation de l'incapacité de travail. Il a refusé d'admettre celle-ci, car aucune comorbidité psychiatrique n'empêchait, par son intensité et sa durée, l'assuré d'exercer une activité professionnelle malgré son trouble somatoforme douloureux, après le mois de juillet 2008 (rapport du 10 juin 2009). Le 23 juin 2009, l'office a soumis à l'assuré un projet d'acceptation de rente, à teneur duquel il proposait la prise en charge de mesures professionnelles et le versement d'une rente entière pour une durée limitée à la période du 1er février au 30 septembre 2008. Dans une écriture du 2 juillet 2009, la doctoresse C._ s'est opposée au projet de l'office AI en se référant à ses propres constatations et à l'avis de l'expert A._. Elle a fait état de difficultés dans le couple de son patient, qui avaient provoqué des idées suicidaires et entraîné son hospitalisation au Département de psychiatrie de l'Hôpital X._ du 31 mars au 20 avril 2009. Le docteur M._ a estimé que les informations à disposition ne permettaient pas de délimiter dans le temps le dernier épisode d'aggravation de l'état de santé, ni de déterminer l'exigibilité actuelle (rapport du 4 février 2010). L'office AI a dès lors mandaté à nouveau le docteur A._, qui a confirmé les diagnostics de sa première expertise (rapport du 22 juillet 2010). Dans un rapport du 30 août 2010, le docteur M._ a maintenu son appréciation du 10 juin 2009. Par deux décisions du 15 décembre 2010, l'office AI a octroyé une rente entière limitée aux périodes du 1er février au 30 septembre 2008 et du 1er janvier au 31 juillet 2009. B. J._ a recouru contre ces décisions auprès de la Cour de Justice de la République et canton de Genève, Chambre des assurances sociales, en concluant à l'octroi d'une rente entière de durée indéterminée. Il a produit un rapport des docteurs F._ et K._ du Service de psychiatrie adulte de l'Hôpital X._, attestant d'une hospitalisation du 10 au 17 décembre 2010 en raison d'une péjoration d'un état dépressif avec idées suicidaires (du 23 décembre 2010). La juridiction cantonale a mis en oeuvre une expertise judiciaire bi-disciplinaire qu'elle a confiée au docteur O._, rhumatologue et spécialiste de médecine physique et réhabilitation, ainsi qu'au docteur Z._, psychiatre (ordonnance du 24 novembre 2011). Dans l'expertise du 9 mars 2012, le docteur O._ a posé les diagnostics de troubles dégénératifs modérés de la colonne cervicale et lombaire (discrète protrusion discale en L3/L4, C4/C5 et C6/C7 sans conflit disco-radiculaire), de syndrome fibromyalgique et de déconditionnement physique. Pour apprécier la valeur incapacitante de ses diagnostics, le docteur O._ a renvoyé à l'évaluation psychiatrique concernant la fibromyalgie et a estimé que les troubles modérés de la colonne cervicale entraînaient une diminution de la capacité de travail d'au maximum 30 % dans l'activité de contremaître de chantier et aucune incapacité de travail dans une activité adaptée respectant les limitations fonctionnelles fixées. Pour sa part, l'expert Z._ a diagnostiqué un épisode dépressif moyen avec syndrome somatique (F 32.11 selon CIM-10) chronique et une agoraphobie avec trouble panique (F 40.01 selon CIM-10). Il a évalué la baisse de rendement liée aux troubles psychiques à 40 % depuis janvier 2005. Le docteur H._, médecin au SMR dont la spécialisation n'est pas connue, a contesté qu'un trouble récurrent moyen associé à un trouble somatoforme douloureux fût incapacitant. Il a fondé son appréciation sur la jurisprudence du Tribunal fédéral sans se prononcer sur l'avis de l'expert Z._ qui reconnaissait un caractère incapacitant aux affections psychiatriques et non à la fibromyalgie (rapport du 22 mars 2012). Par jugement du 10 septembre 2012, la juridiction cantonale a partiellement admis le recours et annulé les décisions de l'office AI. Elle a mis J._ au bénéfice d'une rente entière d'invalidité pour les périodes du 1er novembre 2007 au 30 septembre 2008, d'une demi-rente du 1er octobre 2008 au 30 mars 2009, à nouveau d'une rente entière du 1er avril au 31 juillet 2009 et enfin d'une demi-rente dès le 1er août 2009. C. L'office AI interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, en concluant à la confirmation de ses décisions du 15 décembre 2010. L'intimé conclut au rejet du recours tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. 