Faits: A. A.a S._, né en 1959, a oeuvré en qualité de travailleur dans le bâtiment auprès de l'entreprise X._ SA. A ce titre, il était assuré par la Caisse nationale suisse d'assurance en cas d'accidents (CNA) pour les accidents professionnels et non professionnels. Le 28 septembre 1992, S._ était occupé à décharger du matériel sur le pont d'un camion, lorsqu'il a glissé et qu'il est tombé sur l'épaule droite. Par décision du 10 octobre 2000, confirmée sur opposition par décision du 4 décembre 2001, la CNA a alloué à S._ une rente d'invalidité à partir du 1er mai 1999 pour une incapacité de gain de 15 % et une indemnité pour atteinte à l'intégrité de 25 %. Par jugement du 4 juillet 2003, le Tribunal administratif de la République et canton de Neuchâtel a rejeté le recours formé par celui-ci contre la décision sur opposition du 4 décembre 2001. A.b Le 26 octobre 1993, S._ a présenté une demande de prestations de l'assurance-invalidité. Dans un rapport médical du 20 septembre 1994, les médecins de l'Hôpital Z._ ont indiqué qu'une reprise du travail comme manoeuvre de chantier n'était plus envisageable. Une réadaptation professionnelle devait être envisagée. A la suite d'un stage d'observation en août 1995, S._ a été mis au bénéfice d'un reclassement professionnel, comportant en 1996 un soutien en mathématiques et langue française et entre le 5 mai 1997 et le 30 avril 1999 une formation pratique de monteur en assortiments électroniques auprès du Centre neuchâtelois d'intégration professionnelle (CNIP) de Y._. Le 7 avril 1999, l'Office de l'assurance-invalidité du canton de Neuchâtel a effectué pour le compte de S._ une offre de services auprès de W._ SA, à T._, comme monteur en assortiments électroniques à plein temps. Un stage en entreprise prévu du 19 au 30 avril 1999 s'est soldé par un échec. Le 9 juillet 1999, l'office AI a informé S._ qu'il présentait une invalidité inférieure à 40 %, taux n'ouvrant pas droit à une rente de l'assurance-invalidité. Dans la comparaison des revenus, il se fondait sur un revenu annuel sans invalidité de 60'000 fr., alors que le revenu d'invalide était fixé à 49'400 fr. par année (3'800 fr. x 13), le salaire mensuel de 3'800 fr. étant celui que l'entreprise W._ SA aurait offert à l'assuré si celui-ci avait terminé son stage. Dans une lettre du 31 octobre 2001, S._ a relancé l'assurance-invalidité. Il produisait un rapport médical du 13 septembre 2001 du docteur B._, spécialiste FMH en médecine interne et rhumatologique, selon lequel sur le plan rhumatologique et orthopédique le patient était au-delà de toute ressource thérapeutique, la problématique actuelle étant de nature psychiatrique. L'office AI a confié une expertise au docteur E._, spécialiste FMH en psychiatrie et psychothérapie et médecin du Centre médical de psychothérapie cognitive à U._. Dans un rapport du 22 novembre 2002, le docteur E._ et la psychologue C._ ont retenu que S._ souffrait de dysthymie associée à un trouble douloureux, lequel était associé à la fois à des facteurs psychologiques et à une affection médicale générale de gravité légère sans trouble de la personnalité comorbide. Compte tenu de l'ensemble de ces troubles, l'assuré présentait, d'un point de vue strictement psychiatrique, une capacité de travail diminuée de 25 % au maximum dans une activité adaptée. Par décision du 6 juin 2003, l'office AI a refusé toute rente d'invalidité, au motif qu'il ressortait de l'expertise psychiatrique du 22 novembre 2002 que l'assuré présentait une capacité de travail de 75 % dans une activité adaptée, ce qui corroborait l'évaluation de son invalidité sur la base d'un revenu d'invalide de 41'990 fr. (49'400 fr. par année, moins une réduction de 15 % tenant compte de ses limitations) et d'un revenu sans invalidité de 57'000 fr. S._ a formé opposition contre cette décision. Par décision du 17 octobre 2003, l'office AI a rejeté l'opposition. B. S._ a formé recours contre cette décision devant le Tribunal administratif de la République et canton de Neuchâtel, en concluant, sous suite de frais et dépens, à l'annulation de celle-ci et au renvoi du dossier à l'office AI pour complément d'instruction et nouvelle expertise. Il produisait une demande d'examen spécialisé formulée le 28 mars 2003 par le docteur G._, généraliste, un avis médical du 21 août 2003 de la doctoresse H._, psychiatre, ainsi qu'une lettre d'admission à l'Hôpital V._ pour le 17 novembre 2003. Par jugement du 21 mars 2006, le Tribunal administratif a annulé la décision sur opposition du 17 octobre 2003, la cause étant renvoyée à l'office AI pour instruction complémentaire et nouvelle décision au sens des considérants. En bref, il appartenait à l'office AI de déterminer l'invalidité économique résultant des troubles physiques et psychiques, en procédant à une comparaison des revenus plus précise que celle effectuée dans la décision entreprise, qui tienne compte d'une diminution de 25 % de la capacité de travail sur le plan psychique. C. L'Office de l'assurance-invalidité du canton de Neuchâtel a interjeté un recours de droit administratif contre ce jugement, en concluant à l'annulation de celui-ci. S._ a conclu, sous suite de dépens, au rejet du recours. Dans un préavis du 31 août 2006, l'Office fédéral des assurances sociales a proposé l'admission du recours. 