Faits: Faits: A. V._ a exercé le métier d'isoleur jusqu'en novembre 1998 où il a été licencié pour des motifs économiques. Souffrant de maux de dos et d'hypertension, il s'est annoncé à l'assurance-invalidité le 19 mai 1999, indiquant qu'il se trouvait en incapacité totale de travailler depuis le 30 novembre 1998. L'étendue de la capacité de travail de l'assuré a fait l'objet de plusieurs avis médicaux, émanant du docteur A._ (rapport du 16 juillet 1999), du professeur B._, médecin à la Policlinique X._ (rapport du 8 juillet 1999), et des docteurs C._ et D._, du Service de neurologie du Centre hospitalier Y._ (rapport du 3 novembre 1999). Sur la base de ces avis, le Service médical régional AI (SMR) a estimé que l'assuré avait une capacité de travail entière dans un emploi adapté à son état de santé (avis médical du 19 avril 2001). Selon l'Office de l'assurance-invalidité pour la canton de canton de Vaud (l'office AI), une telle activité serait susceptible de lui procurer un gain de 45'280 fr. par an; en comparant ce gain au salaire annuel de 81'225 fr. dont l'assuré aurait pu bénéficier sans l'atteinte à la santé, sa perte de gain s'élevait ainsi à 44 % (appréciation du 24 juillet 2001 et projet de décision du jour suivant). Aussi l'office AI lui a-t-il alloué un quart de rente d'invalidité à compter du 1er novembre 1999, par décision du 5 novembre 2001. Sur la base de ces avis, le Service médical régional AI (SMR) a estimé que l'assuré avait une capacité de travail entière dans un emploi adapté à son état de santé (avis médical du 19 avril 2001). Selon l'Office de l'assurance-invalidité pour la canton de canton de Vaud (l'office AI), une telle activité serait susceptible de lui procurer un gain de 45'280 fr. par an; en comparant ce gain au salaire annuel de 81'225 fr. dont l'assuré aurait pu bénéficier sans l'atteinte à la santé, sa perte de gain s'élevait ainsi à 44 % (appréciation du 24 juillet 2001 et projet de décision du jour suivant). Aussi l'office AI lui a-t-il alloué un quart de rente d'invalidité à compter du 1er novembre 1999, par décision du 5 novembre 2001. B. V._ a déféré cette décision au Tribunal des assurances du canton de Vaud en concluant à l'allocation d'une rente entière d'invalidité. Il a produit un rapport de la doctoresse E._, médecin-conseil du service de l'emploi du canton de Vaud, du 3 décembre 2001. Par jugement du 20 mars 2003, la juridiction cantonale a admis partiellement le recours et reconnu le droit de l'assuré à une demi-rente d'invalidité. Par jugement du 20 mars 2003, la juridiction cantonale a admis partiellement le recours et reconnu le droit de l'assuré à une demi-rente d'invalidité. C. L'office AI interjette recours de droit administratif contre ce jugement dont il demande l'annulation. L'intimé conclut, avec suite de dépens, au rejet du recours et à l'allocation d'une rente entière d'invalidité. L'Office fédéral des assurances sociales a renoncé à se déterminer. 