Faits : A. Le 4 décembre 2006, la Municipalité de Lutry a accordé à AA._ et BA._ l'autorisation de construire une véranda sur la parcelle n° 23, aux conditions et remarques formulées par les services de l'Etat et par la Commission consultative de la zone ville et villages. Cette construction est adossée au nord contre l'ancien rempart du Bourg Neuf de Lutry et bordée à l'est par un escalier accolé à la façade du bâtiment érigé sur la parcelle n° 24, dont D._ était alors usufruitière. D._ s'est plainte auprès de la municipalité du fait que les constructeurs avaient érigé un imposant mur de briques devant la fenêtre de sa cuisine, contrairement au préavis du Département des infrastructures selon lequel la véranda devait respecter le caractère réversible et modeste du projet, les matériaux utilisés devant être traités avec le maximum de légèreté. Elle lui demandait de revoir sa position et d'intercéder auprès du constructeur afin de trouver une solution qui convienne à tous. Le 4 mars 2008, la Municipalité de Lutry lui a répondu qu'elle ne pouvait revenir sur le permis de construire et que le problème de la vue relevait du droit privé. Saisie d'une demande de réexamen, elle a informé l'intéressée en date du 19 mai 2008 qu'elle maintenait sa position et confirmé sa décision d'octroyer le permis de construire. D._ a recouru contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud. Par arrêt du 2 septembre 2008, cette juridiction l'a réformée en ce sens qu'ordre était donné aux constructeurs d'arrêter les travaux de construction de la façade est de la véranda, après avoir constaté que l'aménagement d'un mur en dur sur ce côté n'était pas au bénéfice d'un permis de construire. Elle a précisé qu'il appartiendra aux constructeurs d'obtenir, au terme d'une procédure régulière, l'autorisation nécessaire pour construire la face est de la véranda. B. Le 1 er février 2009, les constructeurs ont avisé D._ qu'ils avaient décidé de remplacer le mur plein de la façade est de la véranda par une vitre, lui ont remis une copie d'un croquis illustrant la nouvelle construction et ont précisé qu'au niveau de la poutre sud-est, il serait nécessaire de faire subsister une rangée et demi de briques afin de porter l'ouvrage, mais sans que celle-ci ne soit visible depuis la fenêtre de sa voisine. Le 19 février 2009, D._ a répondu que le toit prévu sur le croquis lui semblait trop imposant et qu'elle ne donnerait son accord qu'à la construction d'une véranda légère comportant notamment une vitre à la place du mur en brique de la façade est et un toit léger en matière transparente. Dans une lettre du 31 mars 2009 qui faisait suite à une rencontre sur place, elle a donné son accord au projet de nouvelle construction, BA._ lui ayant confirmé que "tout le mur litigieux en briques de la façade est allait être remplacé par une vitre (hormis les piliers devant soutenir la construction et devant être les plus minces possibles) et qu'un toit léger en matière transparente serait installé". Le 27 août 2009, la Municipalité de Lutry a pris bonne note de l'engagement pris par les constructeurs de remplacer le mur en béton par une façade en verre dans un délai échéant à la mi-septembre. Le 7 juin 2010, la Direction communale des travaux leur a adressé un fax confirmant que le matériau prévu en brique de verre n'appelait pas de remarque particulière de sa part. Les époux A._ ont démoli le mur en briques et entrepris la pose de briques de verre encastrées dans une structure de briques en béton. Le 13 novembre 2011, le nouvel acquéreur de la parcelle n° 24, C._, est intervenu auprès de la municipalité pour savoir si les travaux en cours étaient conformes au permis de construire, si l'autorisation de construire la façade est tenait compte des remarques mentionnées dans l'arrêt cantonal du 2 septembre 2008, en particulier celles du Service des monuments historiques ainsi que de la commission consultative, et si une procédure régulière avait été suivie pour son obtention. Le 29 novembre 2011, l'autorité municipale a répondu qu'une délégation de la municipalité et du service technique s'était rendue sur place, le 18 novembre 2011, afin d'examiner la conformité de la construction litigieuse avec le permis de construire octroyé le 4 décembre 2006, précisé en fonction de l'arrêt du 2 septembre 2008 et de l'accord intervenu entre parties le 31 mars 2009, et qu'elle avait constaté "l'adéquation des travaux en cours avec les plans produits par le constructeur, sous réserve d'adaptations mineures liées à la configuration des lieux et à l'état de vétusté du mur existant". C. A la demande de la Municipalité de Lutry, les époux A._ ont déposé le 7 janvier 2013 une demande de permis de construire complémentaire visant à régulariser les travaux. Soumise à l'enquête publique du 2 février au 3 mars 2013, la demande a suscité l'opposition de C._, qui concluait à la démolition de l'ouvrage aux motifs qu'il contrevenait à plusieurs dispositions légales et réglementaires et lui occasionnait divers inconvénients (perte de vue et d'habitabilité, infiltrations d'humidité). La Section Monuments et Sites du Service Immeuble, Patrimoine et Logistique du canton de Vaud a regretté le fait accompli que représentait la réalisation de cette véranda mais estimé que cette réalisation ne portait pas une atteinte grave au site. Elle a délivré l'autorisation spéciale requise au sens des art. 17 et 51 de la loi cantonale sur la protection de la nature, des monuments et des sites (LPNMS; RS/VD 450.11) et exigé que toute nouvelle intervention sur cette parcelle ou modification de la véranda lui soient soumises pour approbation. Par décision du 30 mai 2013, la Municipalité de Lutry a accordé aux époux A._ le permis de construire sollicité et écarté l'opposition. Au terme d'un arrêt rendu le 9 décembre 2013 sur recours de C._, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud a réformé cette décision en ce sens que la régularisation de la façade est de la véranda est refusée et qu'ordre est donné à AA._ et BA._ de démolir la façade est de la véranda d'ici au 31 mars 2014 sous la menace de la peine d'amende prévue à l'art. 292 du Code pénal. D. Agissant par la voie du recours en matière de droit public, AA._ et BA._ demandent au Tribunal fédéral de réformer cet arrêt en ce sens que le recours de C._ est rejeté, que la décision de la Municipalité de Lutry du 30 mai 2013 est confirmée, que les frais de justice sont mis à la charge de C._ et que ce dernier est leur débiteur d'un montant de 3'000 fr. à titre de dépens de première instance. Ils concluent subsidiairement à l'annulation de l'arrêt attaqué et au renvoi de la cause aux premiers juges pour nouvelle décision dans le sens des considérants. La cour cantonale conclut au rejet du recours. L'intimé en fait de même avec suite de frais et dépens. La Municipalité de Lutry a renoncé à présenter des observations, se référant aux termes de sa décision du 30 mai 2013. E. Par ordonnance présidentielle du 10 février 2014, l'effet suspensif a été accordé au recours. 