Faits: A. A.a R._, sans formation, a occupé en dernier lieu un poste de manutentionnaire. Devenu incapable de travailler en raison de douleurs dorsales, il a déposé le 24 août 2005 auprès de l'Office de l'assurance-invalidité Berne (ci-après: l'OAI) une demande de prestations de l'assurance-invalidité tendant à l'octroi de mesures médicales de réadaptation spéciales et d'une rente. Dans le cadre de l'instruction de la demande le docteur W._, spécialiste en rhumatologie et médecine interne, a diagnostiqué notamment un syndrome douloureux généralisé. Sur le plan physique, la capacité résiduelle de travail de l'intéressé était totale (rapport du 7 décembre 2006). L'OAI a nié le droit de R._ à une rente de l'assurance-invalidité, au motif qu'il présentait un taux d'invalidité de 22 %, insuffisant pour ouvrir le droit à une telle prestation (décision du 30 novembre 2007). Par jugement du 14 août 2008, le Tribunal administratif du canton de Berne, Cour des affaires de langue française, a admis le recours de l'intéressé, annulé la décision attaquée et renvoyé la cause à l'OAI pour instruction complémentaire et nouvelle décision. A.b Reprenant l'instruction du dossier, l'administration a demandé des renseignements au Service psychiatrique X._ à Y._. Le docteur A._ a indiqué qu'il suivait l'assuré depuis 2004 pour un trouble dépressif récurrent et que la symptomatologie dépressive ne s'était que très peu atténuée (rapport du 14 avril 2009). L'OAI a alors confié une expertise au docteur S._, spécialiste en psychiatrie et psychothérapie. Ce médecin a diagnostiqué, sans répercussion sur la capacité de travail, un trouble somatoforme douloureux persistant, une personnalité, de façon accentuée, narcissique, avec une immaturité et une instabilité émotionnelle et une impulsivité prédominante, existant probablement depuis l'adolescence, et une majoration de symptômes physiques, pour des raisons psychologiques. L'expert a nié l'existence d'une comorbidité psychiatrique importante par sa gravité et d'un trouble de la personnalité. R._ avait fait une tentative de suicide en 2007, qui était une décompensation due à l'éloignement prolongé du processus de travail (expertise du 21 décembre 2009). Sur la base de ces éléments, l'OAI a informé R._ qu'il entendait rejeter sa demande d'invalidité, le considérant comme capable de travailler à plein temps dans une activité adaptée (projet de décision du 5 février 2010). L'assuré s'étant opposé à ce projet, l'administration a requis des informations complémentaires auprès de X._ à Z._. Les docteurs E._ et M._ ont diagnostiqué un trouble dépressif récurrent, épisode actuel sévère, sans symptômes psychotiques, et estimé qu'il ne fallait pas s'attendre à la reprise d'une activité professionnelle (rapport du 1er juin 2010). Dans une prise de position du 28 juillet 2010, le docteur U._ du SMR a nié l'existence d'un trouble dépressif récurrent. L'OAI a également interrogé le docteur A._, lequel a conclu à un rendement réduit, mentionnant un traitement hospitalier du 5 janvier au 26 mars 2010 (rapport du 19 juillet 2010). L'OAI a confirmé son projet de décision (décision du 6 août 2010). B. L'intéressé a déféré cette décision auprès du Tribunal administratif du canton de Berne, Cour des affaires de langue française, concluant à son annulation ainsi qu'à l'octroi d'une rente de l'assurance-invalidité. Il a déposé un rapport du docteur A._ dont il ressortait qu'il souffrait d'un trouble dépressif récurrent, épisode actuel sévère sans symptôme psychotique, ainsi que d'un trouble mixte de la personnalité, modification gênante de la personnalité, qui entraînaient une incapacité de travail totale; une évolution dans l'ensemble défavorable avait nécessité plusieurs hospitalisations (rapport du 21 octobre 2010). Se prononçant sur ces éléments, le docteur B._, du SMR, a écarté le diagnostic d'épisode dépressif sévère, considérant les explications de l'expert à ce sujet comme convaincantes (prise de position du 1er novembre 2010). Par jugement du 23 février 2011, la juridiction cantonale a rejeté le recours. C. R._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il requiert principalement l'octroi d'une rente de l'assurance-invalidité, éventuellement la mise en ?uvre d'une expertise médicale pluridisciplinaire, et subsidiairement le renvoi de la cause au Tribunal administratif du canton de Berne, Cour des affaires de langue française, respectivement à l'OAI, pour nouvelle décision au sens des considérants ou, éventuellement, pour nouvelle décision après complément d'instruction. 