Faits: Faits: A. R._, né en 1956, a travaillé en qualité de nettoyeur professionnel au service de l'entreprise S._ depuis le 1er septembre 1991. En 1995 et 1996, il a été victime de deux accidents dont la Caisse nationale suisse d'assurance en cas d'accidents (CNA) a pris les suites en charge. La CNA a mis fin à ses prestations le 27 octobre 1996, estimant que les troubles qui subsistaient n'étaient plus en relation avec les événements accidentels. Les rapports de travail ont été résiliés par l'employeur pour le 31 janvier 1997. Invoquant des maux de dos, R._ a déposé une demande de prestations de l'assurance-invalidité (orientation professionnelle, reclassement et rente) le 4 février 1997. L'assuré a été soumis à un examen pluridisciplinaire auprès du Centre Y._. Dans leur rapport du 7 septembre 1999, le professeur D._ ainsi que les docteurs L._ et P._ ont diagnostiqué un trouble somatoforme douloureux persistant sous la forme de lombo-cruro-sciatialgies droites, des troubles statiques et dégénératifs rachidiens mineurs, une hernie discale foraminale L4-L5 droite, un état dépressif léger, des traits passifs-agressifs de la personnalité ainsi que des migraines. Selon les experts du Centre Y._, le patient ne présente aucune pathologie psychiatrique invalidante. En revanche, le trouble somatoforme douloureux persistant centré sur la région lombaire et le membre inférieur droit réduit sa capacité de travail à 50 %. Selon les experts, la capacité de travail peut être améliorée par des mesures d'ordre professionnel, mais il est à craindre que le syndrome douloureux et la régression physique et psychique qu'il a induite représentent un obstacle difficilement franchissable dans l'idée d'un reclassement .A cet égard, un responsable de la division de réadaptation de l'Office de l'assurance-invalidité pour le canton de Vaud (l'office AI) a estimé, dans une appréciation du 13 décembre 1999, que l'attitude démonstratrice de l'assuré rendait toutes mesures de réadaptation illusoires. Lors de l'évaluation de l'invalidité, l'office AI a tenu compte d'une capacité de travail de 50 % dans une activité adaptée. Comme l'assuré subissait un manque à gagner de 61,48 %, l'office AI lui a alloué une demi-rente d'invalidité à partir du 1er novembre 1996, par décision du 8 septembre 2000. Lors de l'évaluation de l'invalidité, l'office AI a tenu compte d'une capacité de travail de 50 % dans une activité adaptée. Comme l'assuré subissait un manque à gagner de 61,48 %, l'office AI lui a alloué une demi-rente d'invalidité à partir du 1er novembre 1996, par décision du 8 septembre 2000. B. R._ a déféré cette décision au Tribunal des assurances du canton de Vaud, en concluant au versement d'une rente entière fondée sur un taux d'invalidité supérieur à 66 2/3 %. Dans sa réponse, l'office AI a soutenu que sa décision était erronée, car aucune comorbidité psychiatrique grave n'était associée au trouble somatoforme douloureux; l'administration a dès lors conclu à la réforme de sa décision au détriment de l'assuré, la rente étant supprimée. Dans sa réplique, l'assuré a produit deux rapports de l'Hôpital X._, des 28 mars et 15 juin 2001. Dans le premier d'entre eux, les docteurs T._ et M._ ont attesté, notamment, que le trouble somatoforme est compliqué par une symptomatologie dépressive d'ampleur moyenne et par un trouble de la personnalité. A leur avis, l'affection est chronique et invalidante, elle contribue à la perte de l'intégration sociale ainsi qu'à l'émergence de conflits familiaux et compromettent la reprise d'une activité lucrative. La juridiction de recours a interpellé le Centre Y._. Dans un rapport du 15 novembre 2002, le professeur D._ a confirmé l'appréciation précédente du Centre Y._, c'est-à-dire que le trouble somatoforme réduit à lui seul la capacité de travail à 50 % et que l'assuré ne présente aucune comorbidité psychiatrique. L'expert du Centre Y._ a aussi précisé que les troubles statiques dégénératifs rachidiens mineurs et l'hernie discale ne constituent pas un facteur entravant de façon permanente la capacité de travail. Par écriture du 7 octobre 2003, la Présidente de la juridiction cantonale de recours a informé l'assuré que le Tribunal envisageait de réformer la décision attaquée à son détriment et a attiré son attention sur la possibilité qui était la sienne de retirer son recours. L'assuré a maintenu ses conclusions par lettre du 4 novembre 2003. Par jugement du 28 novembre 2003, le Tribunal cantonal des assurances a rejeté le recours (ch. I du dispositif); en outre, il a réformé la décision du 8 septembre 2000 en ce sens que le droit à la demi-rente a été supprimé à partir du premier jour qui suit le mois au cours duquel son jugement entre en force (ch. II du dispositif). Par jugement du 28 novembre 2003, le Tribunal cantonal des assurances a rejeté le recours (ch. I du dispositif); en outre, il a réformé la décision du 8 septembre 2000 en ce sens que le droit à la demi-rente a été supprimé à partir du premier jour qui suit le mois au cours duquel son jugement entre en force (ch. II du dispositif). C. R._ interjette recours de droit administratif contre ce jugement. Avec suite de dépens, il conclut à titre principal à sa réforme en ce sens que le ch. II du dispositif soit annulé; subsidiairement, il conclut au renvoi de la cause aux premiers juges pour complément d'instruction. L'intimé conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer. 