Faits: A. A._ a travaillé comme poseur d'isolation pour le compte de l'entreprise X._ Sàrl jusqu'au 23 février 2001. A partir de cette date et pour des raisons de santé, l'intéressé a travaillé comme administrateur de ladite société, dont il est l'un des deux associés-gérants. Le 8 avril 2002, il a déposé une demande de prestations de l'assurance-invalidité en vue de l'octroi d'une rente. Dans un rapport non daté mais réceptionné par l'office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office AI) le 5 juin 2002, le docteur G._, généraliste et médecin traitant de l'assuré, a diagnostiqué une arthrose interarticulaire postérieure lombaire étagée et une discopathie L4-L5/L5-S1. Il a constaté que toute reprise d'activité physique augmentait les douleurs de manière importante, qu'une activité sédentaire exacerbait également les douleurs, obligeant l'assuré à changer souvent de position mais que ce dernier pouvait effectuer le travail administratif de son entreprise, lequel ne l'occupait qu'à 40 %. A la demande de l'office AI, le docteur U._, spécialiste en médecine physique, réhabilitation et maladies rhumatismales, a examiné l'assuré. Dans son rapport d'expertise du 29 novembre 2004, il a diagnostiqué, avec répercussion sur la capacité de travail, des lombalgies chroniques (discopathie L4-L5, trouble dégénératif), des cervicalgies chroniques (discopathie C5-C6), des dorsalgies chroniques d'étiologie indéterminée, des scapulalgies droites chroniques (arthrose acromio-claviculaire), un syndrome douloureux chronique et une majoration des symptômes physiques pour des raisons psychologiques. Selon l'expert, ces affections ne réduisaient pas la capacité de travail de l'assuré dans son activité de directeur administratif, qui occupait 25 % de son temps, mais la diminuaient d'environ 50 % dans l'activité d'ouvrier pour laquelle un travail de force était exigé. L'expert a retenu les limitations fonctionnelles suivantes : pas de ports de charges de plus de 10-15kg, pas de longues positions assis-debout, pas de travail en porte-à-faux ni avec les bras au-dessus de 90°. Le docteur O._, médecin auprès du Service médical régional de l'AI (SMR), a admis les conclusions de l'expert U._ en précisant que, dans l'activité habituelle de l'assuré où se mêlaient des travaux de bureau et sur le terrain, l'exigibilité était entière avec une diminution de rendement de 50 %. Dans une activité adaptée, la capacité de travail était entière dans la mesure où elle respectait les limitations fonctionnelles fixées par l'expert (cf. rapport du 4 février 2005). Dans un rapport du 27 juin 2005, le Service de réadaptation de l'office AI a admis une capacité de travail entière dans une activité adaptée et réduite de moitié dans l'activité habituelle. Considérant le souhait de l'assuré de poursuivre une activité d'administrateur à 35 % dans sa société, le Service de réadaptation a renoncé à proposer des mesures car celles-ci n'auraient certainement pas permis d'améliorer significativement la capacité de gain de l'assuré à moyen et long terme. Par courrier du 20 mars 2006, la société X._ Sàrl a informé l'office AI que A._ était occupé à raison de 30 à 40 % par l'activité d'administrateur et que ce pourcentage ne pouvait pas être augmenté. Par projet d'acceptation de rente du 13 novembre 2006, l'office AI a reconnu à A._ un droit à un quart de rente avec un degré d'invalidité de 47 %, dès le 1er janvier 2002. Il a retenu que l'assuré était capable de travailler à 100 % dans une activité adaptée moyennant le respect de certaines limitations fonctionnelles et que celui-ci n'utilisait pas la totalité de sa capacité résiduelle de travail dans l'activité déployée pour son entreprise, raison pour laquelle le revenu d'invalide avait été calculé sur la base des données de l'enquête suisse sur la structure des salaires (ESS). Ce projet a été confirmé par décision du 15 novembre 2007. B. A._ a recouru contre cette décision auprès de la Cour des assurances sociales du Tribunal cantonal du canton de Vaud, qui l'a débouté par jugement du 29 décembre 2008. C. L'assuré interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation. Sous suite de frais et dépens, il conclut principalement à l'octroi de trois-quarts de rente; à titre subsidiaire, il conclut au renvoi de l'affaire à la juridiction cantonale, éventuellement à l'office AI, pour instruction complémentaire sous la forme d'une expertise pluridisciplinaire. L'office AI conclut implicitement au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. 