Faits: Faits: A. S._ a travaillé en qualité de vendeur de voitures jusqu'en octobre 1997. Invoquant notamment des douleurs cervicales, dorsales et lombaires, il s'est annoncé à l'assurance-invalidité le 6 avril 1999. Le 25 mai 2000, le docteur J._, spécialiste en médecine physique et en rhumatologie, a fait état, parmi d'autres affections, de troubles dégénératifs rachidiens pluriétagés avec hernie discale cervicale et lombaire, ainsi que de douleurs aux deux genoux sur atteinte dégénérative et capsulaire. Le traitement consistait en l'administration d'anti-inflammatoires, d'antalgiques et récemment d'antidépresseurs. Quant à l'incapacité de travail, ce médecin l'a évaluée à 50 % depuis 1998. Par ailleurs, le docteur J._ a indiqué, le 7 mai 2001, que l'on s'acheminait vers un emploi probablement déclassé de type occupationnel à 30 % environ, toute autre activité paraissant difficilement exigible. Par décision du 18 septembre 2001, l'Office de l'assurance-invalidité pour le canton de Vaud (l'office AI) a alloué une demi-rente d'invalidité à l'assuré à partir du 1er mai 1999, fondée sur un degré d'invalidité de 50 %. Par décision du 18 septembre 2001, l'Office de l'assurance-invalidité pour le canton de Vaud (l'office AI) a alloué une demi-rente d'invalidité à l'assuré à partir du 1er mai 1999, fondée sur un degré d'invalidité de 50 %. B. Contestant que son état de santé lui permît d'exercer une activité à 50 %, S._ a déféré cette décision au Tribunal des assurances du canton de Vaud en concluant à l'allocation d'une rente entière. Une audience a été tenue le 29 octobre 2003. Du procès-verbal, il ressort que le Président du Tribunal a proposé de mettre en oeuvre une expertise pluridisciplinaire, mesure à laquelle le représentant de l'office AI a consenti dès lors que l'atteinte à la santé de l'assuré était aussi bien physique que psychique. Après une suspension d'audience, l'assuré a renoncé à l'expertise proposée. Par jugement du 29 octobre 2003, la juridiction cantonale a rejeté le recours. Par jugement du 29 octobre 2003, la juridiction cantonale a rejeté le recours. C. S._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, avec suite de dépens, en concluant au renvoi de la cause à la juridiction cantonale afin qu'elle ordonne une expertise pluridisciplinaire. L'intimé conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer. 