Faits: Faits: A. A.a E._, né en 1958, travailla en Suisse de 1988 jusqu'au 21 décembre 1994 comme ferrailleur en bâtiment. Souffrant de lombo-sciatalgies droites à la suite d'une hémilaminectomie inférieure de L4 et d'une laminectomie de L5 droite pour sténose ostéo-médiane et latérale L5-S1, il adressa une demande de prestations de l'assurance-invalidité à l'Agence communale d'assurances sociales de C._ le 29 janvier 1996. Dans un rapport du 12 mars 1996, le docteur Y._, médecin traitant, recommandait un reclassement professionnel dans une activité physique, de préférence assise. Dans le cadre de l'instruction de la cause, E._ suivit un stage d'observation professionnelle au COPAI à W._. Ce stage a été interrompu prématurément, en raison de la dégradation de l'état de santé de l'intéressé durant la période d'observation. Tant le directeur du centre (rapport du 22 juillet 1997) que le médecin-conseil (rapport du 1er septembre 1997) constataient que l'assuré était très limité sur le plan fonctionnel et qu'il ne disposait plus d'aucune capacité de travail dans le circuit économique. Le médecin traitant se prononça à nouveau dans un rapport du 1er décembre 1997; il y indiquait, suivant l'avis du docteur A._, spécialiste en neuro-chirurgie, qu'une activité sédentaire à 50 % était envisageable pour tester les capacités professionnelles du patient. L'Office AI pour le canton de Vaud (l'office) soumit encore E._ à une expertise psychiatrique. Les médecins mandatés diagnostiquèrent une décompensation dépressive sévère avec symptômes psychotiques dans le cadre d'une probable évolution psychotique et conclurent à une capacité de travail nulle dans toute activité (rapport des docteurs V._ et G._ du 17 mars 1999). Dès le 1er décembre 1995, l'assuré fut mis au bénéfice d'une rente entière d'invalidité en relation avec une incapacité de gain de 100 %, assortie d'une rente complémentaire pour conjoint et de rentes pour enfants, par décisions de l'office du 23 septembre 1999. A.b Procédant à la révision du droit à la rente, l'office a soumis l'assuré à une expertise réalisée par le docteur S._, spécialiste en psychiatrie et psychothérapie. Ce médecin a diagnostiqué un épisode dépressif majeur chronique d'intensité légère à moyenne, un trouble douloureux associé à la fois à des facteurs psychologiques et à une affection médicale générale chronique, ainsi qu'un status post cure de hernie discale dorsale. Il a conclu à une capacité de travail de 50 % dans tout type d'activité (rapport du 1er mai 2001). Par décision du 14 mai 2002, l'office a remplacé la rente entière d'invalidité par une demi-rente avec effet au 1er juillet 2002, au motif que l'assuré était à nouveau en mesure d'exercer une activité lucrative adaptée à son état de santé à un taux de 50 %. A.b Procédant à la révision du droit à la rente, l'office a soumis l'assuré à une expertise réalisée par le docteur S._, spécialiste en psychiatrie et psychothérapie. Ce médecin a diagnostiqué un épisode dépressif majeur chronique d'intensité légère à moyenne, un trouble douloureux associé à la fois à des facteurs psychologiques et à une affection médicale générale chronique, ainsi qu'un status post cure de hernie discale dorsale. Il a conclu à une capacité de travail de 50 % dans tout type d'activité (rapport du 1er mai 2001). Par décision du 14 mai 2002, l'office a remplacé la rente entière d'invalidité par une demi-rente avec effet au 1er juillet 2002, au motif que l'assuré était à nouveau en mesure d'exercer une activité lucrative adaptée à son état de santé à un taux de 50 %. B. Par jugement du 22 mai 2003, le Tribunal des assurances du canton de Vaud a admis le recours formé par E._ contre cette décision et réformé la décision de révision de l'office en ce sens que le droit à la rente entière d'invalidité a été maintenu au-delà du 30 juin 2002. B. Par jugement du 22 mai 2003, le Tribunal des assurances du canton de Vaud a admis le recours formé par E._ contre cette décision et réformé la décision de révision de l'office en ce sens que le droit à la rente entière d'invalidité a été maintenu au-delà du 30 juin 2002. C. L'office interjette recours de droit administratif contre le jugement précité. Il conclut à son annulation et à la confirmation de sa décision du 14 mai 2002. L'assuré conclut au rejet du recours, cependant que l'Office fédéral des assurances sociales a renoncé à déposer des déterminations. 