Faits: A. Le 29 novembre 2006, A._ a présenté une nouvelle demande de prestations de l'assurance-invalidité, après que ses trois requêtes précédentes ont été rejetées. L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a recueilli des avis médicaux, dont ceux du docteur N._, spécialiste FMH en neurochirurgie, qui a opéré le prénommé le 12 février 2007 (hémilaminectomie pour cure de hernie discale). Ce médecin a fait état d'un status après cure de hernie discale paramédiane gauche L5-S1 avec importante sténose ostéoligamentaire (12 février 2007) et d'un syndrome lombovertébral statique et fonctionnel; il a attesté une incapacité de travail totale dans l'activité d'ouvrier en construction et bâtiment (exercée avant la survenance de l'atteinte à la santé), mais une capacité de travail résiduelle de 50 % dans un emploi adapté léger dans les six mois post-opératoires, à savoir dès la mi-août 2007 (rapport du 22 mai 2007). Sur requête de l'office AI, le docteur H._ du Service médical régional (SMR), s'est prononcé sur le dossier de l'intéressé et a conclu à une incapacité de travail totale du 12 février au 12 août 2007, de 50 % "du 13.08.2007 au 13.11.2008", puis à une pleine capacité de travail dans une activité adaptée (rapport du 14 août 2008). Fort de ces conclusions, l'office AI a, le 24 septembre 2008, informé A._ qu'il entendait rejeter sa demande de prestations, motif pris d'un degré d'invalidité insuffisant (12 %) pour ouvrir le droit à celles-ci. Le prénommé ayant contesté le projet de décision avec un rapport du docteur J._, généraliste et médecin traitant, selon lequel il souffrait d'un trouble somatoforme douloureux extrêmement chronifié, l'office AI l'a soumis à un examen auprès de la doctoresse E._, spécialiste FMH en psychiatrie, du SMR. Dans un rapport du 11 mai 2009, le médecin a conclu à l'absence de diagnostic psychiatrique ayant une répercussion sur la capacité de travail. Par décision du 31 août 2009, l'office AI a rejeté la demande de A._. B. L'assuré a déféré cette décision au Tribunal cantonal, Cour des assurances sociales, du canton de Vaud, en produisant un rapport de la doctoresse B._, spécialiste FMH en médecine interne et nouveau médecin traitant (du 7 janvier 2010). Par jugement du 17 mai 2011, le Tribunal cantonal a rejeté le recours. C. A._ interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation, ainsi que celle de la décision administrative du 31 août 2009. Sous suite de frais et dépens, il conclut à l'octroi d'au moins une demi-rente d'invalidité et au renvoi de la cause à l'office AI pour instruction complémentaire sous la forme d'une expertise médicale pluridisciplinaire et nouvelle décision. L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. 