Faits: A. A.a A._ a travaillé en qualité de maçon-carreleur jusqu'au 20 septembre 2001, jour où il a définitivement cessé toute activité lucrative. Le 7 mars 2002, l'intéressé a déposé une demande de prestations de l'assurance-invalidité en raison de lombalgies chroniques, tendant à son reclassement dans une nouvelle profession ou à l'octroi d'une rente. Par décision du 3 juin 2003, confirmée sur opposition le 4 septembre 2003, l'office AI a rejeté la demande de rente présentée par l'assuré. A.b Le 11 novembre 2003, A._ a présenté une nouvelle demande de prestations de l'assurance-invalidité tendant à l'octroi d'une rente. Il a fait état d'un trouble dépressif récurrent, épisode actuel sévère avec idées suicidaires depuis juin 2003, d'un syndrome douloureux chronique, de discopathies L4-L5 et L5-S1 ainsi que de protrusion discale L5-S1 depuis février 2001. Par décision du 13 décembre 2004, l'office AI a rejeté la demande, au motif que la situation tant médicale qu'économique était superposable à celle prévalant au moment de sa décision initiale de refus de rente. L'assuré ayant formé opposition contre cette décision, l'office AI a confié à son Service médical régional (SMR) la réalisation d'un examen rhumatologique et psychiatrique. Dans leur rapport du 7 août 2006, les docteurs S._, spécialiste FMH en rhumatologie et médecine physique et rééducation, et B._, spécialiste FMH en psychiatrie, ont retenu les diagnostics avec répercussion sur la capacité de travail de lombalgies chroniques, non irritatives, non déficitaires, dans un contexte de protrusion discale des deux derniers étages lombaires (M54.5) et de trouble dépressif récurrent, épisode actuel léger à moyen (F33.1). La capacité résiduelle de travail de l'assuré était nulle sur le plan rhumatologique en tant que maçon-carreleur mais de 100 % dans une activité adaptée; sur le plan psychiatrique, elle était de 70 % (taux représentant une moyenne sur l'année) depuis le 21 septembre 2001. Par une nouvelle décision du 8 octobre 2007, l'office AI a rejeté l'opposition de l'assuré, au motif que son degré d'invalidité n'ouvrait pas droit à une rente. B. Par jugement du 15 février 2008, le Tribunal administratif, Cour des assurances sociales, de la République et canton de Neuchâtel a admis le recours interjeté par l'assuré contre la décision sur opposition du 8 octobre 2007, en ce sens qu'il a alloué à ce dernier un quart de rente d'invalidité dès le mois de juin 2004. C. L'office AI interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut à la confirmation de sa décision du 8 octobre 2007. A._ conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se prononcer. 