Faits: A. S._, né en 1958, a travaillé en qualité d'ouvrier de production au service de X._ SA, à E._. A l'arrêt de travail depuis le 16 mars 2004, il a perdu son emploi, qui a pris fin le 31 décembre 2004. Le 22 septembre 2004, S._ a présenté une demande de prestations de l'assurance-invalidité, en requérant l'octroi d'une rente. Le docteur G._, spécialiste FMH en médecine générale à A._ et médecin traitant de l'assuré, a déposé ses conclusions dans un rapport médical du 13 novembre 2004, et le docteur U._, spécialiste FMH en médecine interne et rhumatologie à N._, en a fait de même dans un rapport médical du 17 décembre 2004. L'Office AI Berne a confié une expertise médicale aux docteurs R._ et H._, médecins à Y._, tous deux spécialistes FMH le premier en rhumatologie et le second en psychiatrie. Dans leurs rapports médicaux du 27 juillet 2005, le docteur R._ a posé le diagnostic de syndrome douloureux chronique thoracique lombovertébral et le docteur H._ a retenu un trouble douloureux somatoforme persistant (F45.4). Dans une appréciation interdisciplinaire datée du même jour, ils ont conclu à une pleine capacité de travail du point de vue rhumatologique et psychiatrique dans une activité adaptée sollicitant le dos de manière réduite. Bien qu'atteint d'un trouble psychosomatique, le patient était à même de surmonter les douleurs et de reprendre une activité lucrative. Le 5 septembre 2005, l'office AI a rendu une décision par laquelle il a rejeté la demande. Il avisait l'assuré que l'on pouvait raisonnablement exiger de lui qu'il exerce à plein temps une activité légère adaptée au handicap qui était le sien et qu'il présentait une invalidité de 15 %, taux ne donnant pas droit à une rente. Le 6 octobre 2005, S._ a formé opposition contre cette décision. Par décision du 5 avril 2006, l'office AI a rejeté l'opposition. B. Le 11 mai 2006, S._ a formé recours contre cette décision devant le Tribunal administratif du canton de Berne, en concluant, sous suite de frais et dépens, à l'annulation de celle-ci et à l'octroi d'une demi-rente d'invalidité au minimum. Requérant la mise en oeuvre d'une expertise pluridisciplinaire du COMAI, respectivement du COPAI, il demandait à titre subsidiaire que la cause soit renvoyée à l'office AI pour qu'il procède à une instruction complémentaire dans ce sens et rende une nouvelle décision. Le 18 juillet 2006, S._ a produit un rapport médical du docteur U._ du 17 juillet 2006. Par jugement du 2 février 2007, le Tribunal administratif a rejeté le recours. C. S._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, en concluant, sous suite de frais et dépens, à l'octroi d'une demi-rente d'invalidité au minimum. Requérant la mise en oeuvre d'une expertise médicale pluridisciplinaire, il sollicite à titre subsidiaire le renvoi de la cause à l'office AI pour instruction complémentaire dans ce sens et nouvelle décision. L'Office AI Berne conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer. 