Faits : A. A.a. Dame A._, née en 1954, et A._, né en 1955, se sont mariés en 1977. Un enfant désormais majeur est issu de cette union. Les époux sont séparés depuis mi-janvier 2004. A.b. Les charges de A._, qui exerce en qualité de médecin-dentiste ont été arrêtées à 3'758 fr. 75 par mois. Son revenu est contesté. Dame A._ est architecte de formation mais travaille actuellement en qualité de vendeuse dans un commerce à H._. Son revenu mensuel a été arrêté à 6'322 fr. 65 pour des charges mensuelles de 5'022 fr. 40. A.c. Le 18 décembre 2007, A._ a introduit une requête unilatérale en divorce. A.d. Statuant par ordonnance de mesures provisionnelles du 17 décembre 2008 sur la requête introduite le 26 septembre 2008 par A._, le Président du Tribunal civil de l'arrondissement de l'Est vaudois (ci-après: le Président du Tribunal d'arrondissement) a condamné ce dernier à contribuer à l'entretien de son épouse, à compter du 1 er octobre 2008, par le régulier versement d'une contribution mensuelle de 3'550 fr. et à assumer en outre les charges hypothécaires pour l'appartement et le studio de celle-ci. Sur appel de l'époux, le montant de la contribution due a été ramené, par arrêt du 28 avril 2009 du Tribunal d'arrondissement, à 2'250 fr. par mois, intérêts hypothécaires des immeubles de l'épouse inclus. Par arrêt du 20 juillet 2009, la Chambre des recours du Tribunal cantonal du canton de Vaud a rejeté le recours de l'épouse interjeté contre l'arrêt sur appel du 28 avril 2009 et maintenu cette décision. A.e. Le 8 novembre 2012, A._ a déposé une requête de modification des mesures provisionnelles ordonnées au motif que sa vie professionnelle avait connu des changements, concluant à ce qu'il soit dispensé de toute contribution d'entretien en faveur de son épouse dès et y compris le 1 er novembre 2012, cette dernière étant tenue seule aux paiements des charges hypothécaires de ses propres immeubles. Il a déposé une requête de mesures superprovisionnelles dans le même sens le 19 février 2013. Statuant par ordonnance du 25 février 2013 sur la requête de mesures superprovisionnelles, le Président du Tribunal d'arrondissement a notamment suspendu avec effet immédiat la contribution d'entretien due en faveur de dame A._. A.f. Par ordonnance du 2 septembre 2013, le Président du Tribunal d'arrondissement a constaté que A._ avait remis son cabinet dentaire de B._ (VD) en avril 2009 afin de rejoindre sa concubine en Suisse allemande. En 2010, il avait travaillé en tant que médecin-dentiste remplaçant auprès de plusieurs cabinets dentaires. Il avait ouvert son nouveau cabinet dentaire à C._ (FR) où vit sa concubine, afin d'avoir son cabinet et son logement au même endroit. Depuis le 29 août 2011, il travaillait également les mardis, mercredis et jeudis pour le compte d'un cabinet tiers à D._ et percevait à ce titre 50% de commission sur son travail. Le Président du Tribunal d'arrondissement a ainsi considéré que la requête de modification des mesures provisionnelles déposée le 8 novembre 2012 par A._ était justifiée et a dispensé ce dernier de toute contribution d'entretien en faveur de son épouse dès et y compris le 1 er novembre 2012, cette dernière étant seule tenue au paiement des charges hypothécaires relatives à ses immeubles. B. Statuant par arrêt du 23 janvier 2014 sur l'appel interjeté par dame A._ contre cette décision, la Juge déléguée de la Cour d'appel civile du Tribunal cantonal vaudois (ci-après: Juge déléguée) a admis l'appel et réformé l'ordonnance entreprise en ce sens qu'elle a rejeté la requête de mesures provisionnelles déposée le 8 novembre 2012 par A._ et révoqué l'ordonnance de mesures superprovisionnelles rendue le 25 février 2013. C. Par acte du 28 février 2014, A._ exerce un recours en matière civile au Tribunal fédéral contre cette décision. Il conclut principalement à ce que la décision entreprise soit réformée en ce sens que l'appel formé par son épouse le 13 septembre 2013 est rejeté et que l'ordonnance rendue par le Président du Tribunal civil de l'arrondissement de l'Est vaudois est confirmée; subsidiairement il conclut à l'annulation de l'arrêt entrepris et au renvoi de la cause au Juge précédent pour nouvelle décision dans le sens des considérants. A l'appui de ses conclusions, il fait valoir que les preuves auraient été appréciées arbitrairement au sens de l'art. 9 Cst. ce qui aurait conduit à un calcul erroné de la contribution d'entretien due. Invitées à se déterminer sur le recours, l'intimée a conclu à son rejet et l'autorité cantonale s'est référée aux considérants de l'arrêt entrepris. D. Par ordonnance présidentielle du 24 mars 2014, l'effet suspensif a été attribué au recours pour les contributions d'entretien dues jusqu'à la fin du mois de janvier 2014 et a été refusé pour les contributions d'entretien dues à compter du 1 er février 2014. 