Faits: A. A.a Par décision sur opposition du 18 février 2005 (confirmée par jugement du Tribunal des assurances du canton de Vaud du 8 mars 2006), l'Office cantonal de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a rejeté la demande de prestations de B._. L'administration s'est fondée à l'époque sur un rapport du docteur G._, spécialiste FMH en médecine interne et rhumatologie (du 22 juillet 2002), ainsi que sur une évaluation (du 20 novembre 2002) du docteur L._, spécialiste FMH en psychiatrie et psychothérapie, médecin auprès du Service médical régional AI (SMR). Retenant tous deux le diagnostic de trouble somatoforme douloureux sous forme de lombalgies chroniques (en plus de cervicalgies subaiguës et de troubles dégénératifs modérés du rachis, sur le plan rhumatologique), les médecins ont conclu à une capacité entière de travail dans une activité adaptée, respectant les limitations décrites (le docteur G._ attestant par ailleurs une incapacité de travail de 50 % dans l'ancienne activité de chauffeur livreur). A.b Le 9 juin 2008, B._ a présenté une nouvelle demande de prestations en produisant un rapport d'évaluation (du 14 avril 2008) relatif à un stage suivi auprès de X._. Après avoir recueilli les avis des médecins traitants de l'assuré (les docteurs D._, spécialiste FMH en médecine interne, V._, spécialiste FMH en médecine interne et gastroentérologie, et M._, spécialiste en psychiatrie et psychothérapie), l'office AI a soumis le dossier au docteur Q._, spécialiste FMH en chirurgie, du SMR. Celui-ci a nié l'existence de modification significative de l'état de santé depuis février 2005 et conclu à une capacité de travail inchangée (avis du 23 décembre 2008). Fort de ces conclusions, l'office AI a informé l'intéressé qu'il entendait rejeter sa demande, motif pris d'un degré d'invalidité (de 18,22 %) insuffisant pour ouvrir le droit à une rente (projet de décision du 6 février 2009). Il a maintenu sa position par décision du 8 septembre 2009, en se référant à un nouvel avis du SMR du 21 avril 2009. B. Statuant le 17 mai 2011 sur le recours formé par l'assuré contre cette décision, le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, l'a rejeté. C. B._ interjette un recours en matière de droit public contre ce jugement. Sous suite de dépens, il en demande l'annulation et conclut au renvoi de la cause à la Cour des assurances sociales du Tribunal cantonal vaudois pour complément d'instruction et nouvelle décision. L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. 