Faits: Faits: A. Ressortissant portugais né en 1955, L._ s'est annoncé à l'assurance-invalidité, le 22 janvier 1996, invoquant souffrir d'une hernie discale qui l'empêchait d'exercer son activité de maçon-paysagiste depuis le 23 août précédent. Le docteur R._, rhumatologue, a posé le diagnostic de lombosciatalgie bilatérale chronique sub-aiguë depuis le mois de juin 1995 et de petite hernie discale paramédiane L5-S1. Ces atteintes avaient entraîné plusieurs périodes d'incapacité de travail et un reclassement dans une profession n'impliquant pas le port de lourdes charges devait, selon le médecin, être entrepris rapidement (rapport du 11 avril 1996). Après un premier stage en cuisine, l'assuré a effectué un stage au Centre d'observation professionnelle de l'assurance-invalidité (COPAI), à Genève, du 25 août au 19 septembre 1997. Selon le rapport du COPAI (du 2 novembre 1997), l'assuré était en mesure d'occuper un emploi à mi-temps dans des postes tels que magasinier avec petites livraisons ou réparation et contrôle d'appareils électromécaniques de moyenne dimension; après un réentraînement à l'effort de 6 mois, il pourrait travailler à plein temps avec un rendement de 80 %, ce dont doutait toutefois le docteur E._, médecin du COPAI. Au cours d'un stage subséquent d'essai en entreprise auprès de la société X._ SA, l'assuré a accompli son travail avec un rendement global inférieur à 50 %. Sur le plan médical, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office AI) a recueilli divers avis avant de soumettre L._ à une expertise confiée aux docteurs S._, psychiatre et psychologie FHM, et A._, rhumatologue. Le premier médecin a indiqué que l'assuré présentait un trouble douloureux associé à la fois à des facteurs psychologiques et une affection médicale chronique d'intensité légère; du point de vue psychiatrique, il était apte à travailler à 100 % dans une activité adaptée à ses problèmes lombaires et ceci depuis toujours (rapport du 10 avril 2001). De son côté, le second praticien a notamment diagnostiqué des lombosciatalgies bilatérales à prédominance gauche, des troubles dégénératifs discrets du rachis lombaire avec hernie discale paramédiane gauche L4-L5, ainsi que des troubles douloureux chroniques associés à des facteurs psychologiques et à une affection médicale générale chronique. Il était d'avis que l'assuré n'était plus en mesure d'exercer sa profession de maçon, mais disposait d'une capacité de travail de 50 % dès le 1er février 1996 dans une activité adaptée, soit permettant des changements de position et sans port de charges de plus de 15 kg, mouvements de flexion et/ou rotation du tronc, ni travail en station basse prolongée ou au-dessus de la ceinture de façon prolongée (rapport du 12 avril 2001). A la demande du Service médical régional de l'assurance-invalidité (SMR), le docteur A._ a précisé la nature des atteintes empêchant l'assuré de mettre en valeur une capacité de travail entière dans une activité adaptée (courrier du 25 mai 2001). Relevant une discordance entre l'expertise du docteur A._ et celle du docteur S._, les docteurs F._ et V._ du SMR ont conclu que l'assuré était capable de travailler à 100 % dans une activité adaptée, en prenant en compte quelques mois de réentraînement au travail (rapport du 4 septembre 2001). Par décision du 6 août 2002, l'office AI a rejeté la demande de prestations. Il a considéré que l'assuré disposait d'une capacité de travail entière dans une activité adaptée qui lui permettait de réaliser un revenu de 45'100 fr.; la perte économique (de 24,20 %) qui en résultait n'était pas susceptible d'ouvrir le droit à une rente. Relevant une discordance entre l'expertise du docteur A._ et celle du docteur S._, les docteurs F._ et V._ du SMR ont conclu que l'assuré était capable de travailler à 100 % dans une activité adaptée, en prenant en compte quelques mois de réentraînement au travail (rapport du 4 septembre 2001). Par décision du 6 août 2002, l'office AI a rejeté la demande de prestations. Il a considéré que l'assuré disposait d'une capacité de travail entière dans une activité adaptée qui lui permettait de réaliser un revenu de 45'100 fr.; la perte économique (de 24,20 %) qui en résultait n'était pas susceptible d'ouvrir le droit à une rente. B. Saisi d'un recours de l'assuré contre cette décision, le Tribunal des assurances du canton de Vaud l'a rejeté par jugement du 22 décembre 2003. B. Saisi d'un recours de l'assuré contre cette décision, le Tribunal des assurances du canton de Vaud l'a rejeté par jugement du 22 décembre 2003. C. L._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, en concluant au renvoi de la cause à l'administration pour qu'elle ordonne une expertise médicale. L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. 