Faits: A. P._ a travaillé comme maçon-carreleur pour la société X._ SA à partir du 1er juillet 1997. Ayant subi deux accidents qui ont entraîné notamment une entorse de la cheville gauche et une contusion de l'épaule gauche, respectivement de l'épaule droite, il a présenté une demande de prestations de l'assurance-invalidité le 30 décembre 2002. L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a recueilli des renseignements médicaux et économiques, avant de soumettre l'assuré à un examen bidisciplinaire auprès de son Service médical régional (SMR; rapport du 10 août 2004). Après avoir transmis un projet de décision à P._, dont celui-ci a contesté les termes, l'office AI a chargé la Clinique Y._ d'une expertise interdisciplinaire. Dans leur rapport du 17 juillet 2007, dont les conclusions ont été précisées par le docteur B._ sur interpellation de l'office AI (courrier au docteur M._ du SMR du 2 avril 2008), les docteurs A._, psychiatre et psychothérapeute, et C._, spécialiste en rhumatologie, médecine physique et rééducation, ont diagnostiqué, avec répercussion sur la capacité de travail, entre autres atteintes, des omalgies bilatérales persistantes sur status post acromioplastie et réinsertion du tendon sus-épineux de l'épaule gauche et sur status post réinsertion d'une rupture complète du sus-épineux, partielle du sous-épineux et acromioplastie de l'épaule droite, des lombalgies chroniques avec sciatalgies gauches non déficitaires de type mécanique et des gonalgies bilatérales à prédominance gauche (status post arthoscopie/arthrotomie). Les médecins ont conclu qu'une activité adaptée aux limitations décrites dans leur rapport était exigible de la part de l'assuré à plein temps, mais avec une diminution de rendement de 20 à 30 %. Le SMR s'étant prononcé à nouveau dans un avis du 15 avril 2008, l'office AI a rendu une décision, le 8 juillet 2009, par laquelle il a nié le droit de l'assuré à une rente, au motif que le taux d'invalidité de 17 % obtenu après la comparaison des revenus déterminants n'ouvrait pas le droit à cette prestation. B. Statuant le 15 février 2010 sur le recours formé par l'intéressé, le Tribunal cantonal, Cour des assurances sociales, du canton de Vaud l'a rejeté. C. P._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Sous suite de frais et dépens, il conclut au renvoi de la cause à l'office AI pour instruction complémentaire sur le plan médical et économique, puis nouvelle décision. L'office AI conclut implicitement au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. 