Faits: Faits: A. O._, né en 1956, exerçait la profession de maçon. Le 24 juin 1996, il a interrompu son activité professionnelle en raison de l'exacerbation de douleurs dorsales, dont il souffrait depuis plusieurs années. Son médecin traitant, le docteur C._ a attesté une incapacité de travail totale dès cette date (rapport du 19 mars 1998). Un traitement ambulatoire, puis une hospitalisation au Service de rhumatologie du Centre hospitalier X._, du 9 au 27 septembre 1996, n'ont pas apporté d'amélioration notable (rapport du 11 octobre 1996 des docteurs B._ et A._). Le 5 juin 1997, O._ a déposé une demande de prestations de l'assurance-invalidité. L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: office AI) a mis en oeuvre un stage dans un Centre d'observation professionnel de l'assurance-invalidité (ci-après : COPAI) dès le 9 novembre 1998. Ce stage a toutefois été interrompu le 17 novembre suivant à la suite d'une nouvelle incapacité de travail attestée par le docteur C._. Le rapport du COPAI ayant mis en évidence une surdité partielle de l'assuré, l'assurance-invalidité a pris en charge la pose d'un appareil auditif en février 1999. Une expertise fut ensuite confiée au Centre d'observation médical de l'assurance-invalidité, à Lausanne, dont le rapport de synthèse, établi le 8 septembre 2000, fait notamment état d'un trouble somatoforme douloureux persistant sous forme de lombo-pseudo-sciatalgies gauches, d'un état anxio-dépressif d'intensité légère à modérée et de troubles statiques et dégénératifs avec spondylolyse isthmique bilatérale L5, sans lysthésis. Selon les auteurs de ce rapport, les docteurs D._, P._ et U._, l'incapacité de travail dans la profession de maçon est de l'ordre de 70 %, alors qu'elle est de 50 % dans une activité légère n'impliquant ni port de charge lourde ni position statique durant plus d'une à deux heures. Ces praticiens se fondent sur leurs propres observations cliniques, sur les résultats d'un examen rhumatologique pratiqué le 15 mars 2000 par le docteur H._ et d'un examen psychiatrique pratiqué le 16 mars suivant par la doctoresse N._, ainsi que sur une discussion de synthèse avec les docteurs L._, rhumatologue et S._, psychiatre. Dans une prise de position du 15 février 2001, le docteur E._, médecin-conseil de l'office AI, a proposé de retenir une pleine capacité de travail dans un emploi adapté, au motif que le syndrome somatoforme douleureux ne constitue pas en soi une maladie invalidante au sens de l'AI et que le COMAI n'avait pas mis en évidence de comorbidité psychiatrique grave. Par décision du 15 août 2001, l'office AI a considéré que l'assuré présentait un taux d'invalidité de 17 % et a rejeté la demande de prestations. Par décision du 15 août 2001, l'office AI a considéré que l'assuré présentait un taux d'invalidité de 17 % et a rejeté la demande de prestations. B. Cette décision fut déférée au Tribunal des assurances du canton de Vaud, qui a rejeté le recours, par jugement du 28 août 2003. B. Cette décision fut déférée au Tribunal des assurances du canton de Vaud, qui a rejeté le recours, par jugement du 28 août 2003. C. O._ interjette un recours de droit administratif contre ce jugement, dont il demande l'annulation. Il conclut, sous suite de frais et dépens, à l'octroi d'une demi-rente d'invalidité, avec effet dès le 24 juin 1996. L'intimé conclut au rejet du recours, alors que l'Office fédéral des assurances sociales a renoncé à se déterminer. 