Faits: Faits: A. A._, né en 1950, a travaillé en qualité de maçon et de manoeuvre au service de différentes entreprises jusqu'au 30 septembre 1999. A partir du 1er octobre 1999, il a présenté une incapacité de travail oscillant entre 50 % et 100 % en raison de douleurs lombaires. Le 31 octobre 2000, il a déposé une demande de prestations de l'assurance-invalidité (rente). Dans un rapport du 4 décembre 2000, son médecin traitant, le docteur T._ a diagnostiqué des « lombalgies chroniques persistantes sur troubles statiques et dégénérescence discale L4-L5, L5-S1, canal lombaire étroit en L4-L5, arthrose postérieure au même niveau, importante dysbalance musculaire, obésité, diabète de type II, maladie de reflux gastro-oesophagien ». Le docteur T._ s'est fondé sur les rapports du docteur P._, rhumatologue, (du 29 novembre 1999), ainsi que sur l'appréciation des docteurs F._ et B._, du service d'orthopédie et de traumatologie de l'appareil moteur du Centre hospitalier X._, du 14 mars 2000). Il a également estimé que son patient présentait une capacité de travail maximale de 50 % dans une activité adaptée (petits travaux d'entretien). Les doctoresses M._ et V._, du service médical régional de l'AI (SMR) ont, quant à elles, fixé à 100 % la capacité de travail de A._ dans une activité adaptée et déterminé les limitations fonctionnelles comme suit : « Pas de port de charges supérieures à 10 kg, marche inférieure à 100 m, alternance position assise-debout, pas de latéroflexion ou d'antéflexion » (rapport du 23 juillet 2001). Dans un projet de décision du 10 août 2001, l'Office de l'assurance-invalidité pour le canton de Vaud (l'office AI) a informé A._ qu'il envisageait de nier son droit à une rente au motif que son taux d'invalidité n'atteignait pas 40 %. L'assuré a contesté ce point de vue à l'appui d'une appréciation du docteur T._ du 24 août 2001, dont il ressort que sa capacité résiduelle de travail ne dépassait pas 30 %, ainsi que d'un rapport du 31 mai 2001 du docteur R._, du Centre anti-douleur de la Clinique Y._, annexé à l'avis du médecin traitant. Le 5 novembre 2001, le SMR a pris position sur les avis des docteurs T._ et R._ et confirmé que l'assuré présentait une capacité de travail à 100 % dans une activité adaptée respectant les limitations fonctionnelles précitées. Par décision du 14 novembre 2001, l'office AI a rejeté la demande de prestations, estimant que le taux d'invalidité n'atteignait pas 40 %. Par décision du 14 novembre 2001, l'office AI a rejeté la demande de prestations, estimant que le taux d'invalidité n'atteignait pas 40 %. B. A._ a recouru devant le Tribunal cantonal des assurances en concluant à l'octroi d'une rente entière d'invalidité. Par jugement du 21 mai 2003, la juridiction cantonale a rejeté le recours. B. A._ a recouru devant le Tribunal cantonal des assurances en concluant à l'octroi d'une rente entière d'invalidité. Par jugement du 21 mai 2003, la juridiction cantonale a rejeté le recours. C. A._ interjette recours de droit administratif contre ce jugement, dont il demande l'annulation. Sous suite de frais et dépens, il requiert le renvoi du dossier à la juridiction cantonale, principalement, pour qu'elle respecte son droit d'être entendu et subsidiairement, pour qu'elle procède à une expertise pluridisciplinaire. L'office AI conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer. 