Faits : A. A.a. A.X._, né en 1971, et B.X._, née en 1975, se sont mariés le 31 octobre 2008. De leur union sont issus C._, né en 2008, et D._, née en 2010. A.b. A.b.a. Les parties se sont séparées en 2011. Elles ont déposé diverses requêtes de mesures protectrices de l'union conjugale, en particulier sur le droit de visite du père, certaines décisions rendues ratifiant une transaction des parties sur ce point. Un droit de visite a pu être régulièrement exercé depuis le mois d'octobre 2012. A.b.b. Différents rapports médicaux et sociaux ont été rendus. Ainsi, par certificat médical du 6 avril 2013, F._, pédiatre, a attesté qu'il suivait les enfants depuis leur naissance, confirmé que ceux-ci présentaient un développement " tout à fait excellent " et qu'ils étaient en parfaite sécurité au domicile de leur mère. Dans un rapport d'évaluation du Service de la protection de la jeunesse (ci-après: SPJ), intervenu suite à des accusations du père selon lesquelles les enfants auraient été victimes d'abus sexuels au domicile de leur mère et du nouveau conjoint de celle-ci, l'assistant social a relevé qu'aucun élément ne laissait penser que les enfants auraient été abusés. En revanche, le père était encore très marqué par la séparation; il avait de la peine à séparer les problèmes conjugaux des questions relatives aux enfants. Ceux-ci n'étant toutefois pas en danger, l'assistant social a préconisé de maintenir le droit de visite. Dans un document du 29 septembre 2013 intitulé " signalement d'un mineur en danger dans son développement " adressé au SPJ concernant l'enfant aîné, G._, psychologue assistante à la Policlinique de pédopsychiatrie d'Aigle, a exposé notamment que l'enfant était " fort inhibé, sur la retenue, observateur des mouvements d'autrui, passif et soumis dans la relation, évitant le conflit, avec peu d'initiative, mettant à distance les affects ", qu'elle avait débuté son investigation le 8 août 2013, et que les faits relatés au sujet de l'enfant l'avaient été par la mère selon laquelle celui-ci serait mis sous pression lors du droit de visite en étant obligé de prier et en entendant des propos négatifs du père envers elle. Son interprétation était que l'enfant présentait une inhibition, une mise en retrait pour éviter les conflits et une difficulté à construire son identité en raison de la peur de maltraitance susmentionnée. B. B.a. B.a.a. Par requête de mesures provisionnelles et superprovisionnelles du 2 octobre 2013, B.X._ a conclu à la suspension immédiate du droit de visite jusqu'à la tenue d'une prochaine audience, précisant qu'elle ne s'opposait pas à l'exercice de ce droit au Point Rencontre. Elle a fait valoir que son époux adoptait depuis quelque temps un comportement alarmant, en proie à un délire mystique, persuadé que lui-même et les enfants allaient disparaître avant 2017. Elle a produit des courriels récents de plusieurs pages que lui avait adressés son époux. Dans l'un d'eux, celui-ci l'enjoignait à la pénitence, affirmant que celui qui a secondé la création errait sur terre jusqu'en 2017, date à laquelle il serait anéanti et les deux tiers de la population avec lui car " la tumeur du mal qui affecte l'humanité est à un stade très avancé ne permettant plus aucun espoir de guérison pour les 2/3 incroyants ", et que la seule solution pour échapper à ce sort était de se repentir de ses péchés par la prière ou la fréquentation d'églises. Dans un autre, il lui proposait de l'aider à s'exorciser pour le cas où elle renoncerait à cette première solution. B.X._ a également allégué que les enfants revenaient perturbés des rencontres avec leur père et tenaient des propos incohérents tels que " le diable habite la tête de maman " ou parlaient de la " fin du monde qui aura lieu en 2017". Par ordonnance de mesures superprovisionnelles du 2 octobre 2013, le Président du Tribunal civil de l'arrondissement de l'Est vaudois a ordonné que le droit de visite s'exerce par l'intermédiaire du Point Rencontre deux fois par mois, pour une durée maximale de deux heures, à l'intérieur des locaux. B.a.b. A.X._ a requis lui-même des mesures superprovisionnelles et provisionnelles le 3 octobre 2013 puis le 3 novembre 2013, tendant notamment à rétablir le droit de visite et à être autorisé à contacter ses enfants. Il a notamment allégué qu'il ne procédait à " aucun endoctrinement fanatique de [ses] enfants, mais juste une volonté de leur transmettre des valeurs Christiques comme de pardonner y compris à ses ennemis, de ne pas juger et de condamner les autres " et qu'il leur transmettait " simplement une espérance qui [avait] des conséquences positives dans la vie et dans l'interaction avec leur semblable. Leur transmettre la philosophie du néant du matérialisme [conduisait] tous ces jeunes à ne plus savoir quel sens donner à leur existence. L'impiété sans mesure de B.X._ [faisait] obstacle à cette volonté de transmission de la foi, de cette espérance et c'[était] pourquoi elle [poursuivait] l'instrumentalisation de la justice. Ceci n'[était] pas sans rappeler ce que les Pharisiens et les spécialistes de la loi [avaient] réalisé il y [avait] deux mille ans en instrumentalisant le pouvoir judiciaire de Ponce Pilate pour condamner un innocent venu témoigner de ce qu'[était] la Vérité ". Le président a rejeté ces requêtes par décisions des 4 octobre et 4 novembre 2013. B.a.c. Le 27 novembre 2013, A.X._ a adressé à la psychologue G._ une lettre recommandée de vingt-sept pages intitulée " état de l'Amour, état du monde ". Il y exposait qu'il détenait la vérité sur le bien et le mal et qu'il était dans son devoir de la partager. Il y discourait sur la Vierge Marie, la physique quantique, la genèse, l'adultère, l'expiation des péchés, l'avènement du Christ pour 2017, répétait que le " Grand Châtiment " serait suivi du " Grand Miracle ", et qualifiait le comportement de son épouse de " déclarations et actions haineuses d'une mère adultère obstinée dans le conflit ". B.a.d. Une audience de mesures protectrices de l'union conjugale s'est tenue le 19 décembre 2013, au cours de laquelle les parties ont convenu de la mise en oeuvre d'une expertise pédopsychiatrique. B.X._ a produit plusieurs courriels de son époux où celui-ci discourait sur le péché de l'adultère, lui reprochait d'avoir une perception du bien et du mal conduisant " inévitablement au mal absolu qu'est le divorce, la haine, la séparation des enfants ", l'avertissait qu'elle choisissait " toute seule l'enfer si [elle poursuivait] dans [sa] direction de division sans repentir " et expliquait que la " Fin des Temps " était simplement un passage de la Bible auquel il croyait et qu'il transmettait uniquement aux enfants " le message d'amour et de pardon tel qu'il a été vécu par le Christ ". B.a.e. Le 24 décembre 2013, A.X._ a adressé une lettre de trois pages à ses enfants. Il y racontait qu'un personnage nommé " L'Amour " devait combattre à l'aide du " Rosaire de Marie " le méchant " Pitch " qui, par ses mensonges, entraînait les enfants dans la nuit et la peur. Il continuait son récit en endossant le rôle du personnage Jack Frost et en expliquant que " l'Amour ", manifestement pour lui Dieu, lui avait donné un bâton en mains propres pour qu'il combatte le " méchant Pitch " par sa faiblesse, qui est l'absence d'amour. Il ajoutait ensuite ces propos: " Alors, papa, présent avec vous dans votre coeur, vous offre à vous deux, C._ et D._, la grosse somme d'argent qui appartient à papa et qui est cachée dans la maison à E._. Il offre à maman tout le reste de ses biens qui sont aussi dans la maison. Maman enverra les papiers à papa pour authentifier cet Acte d'Amour qui vient de l'Amour lui-même, pour se remettre dans la lumière de l'Amour ". Il terminait son récit en affirmant que, pour combattre l'égoïsme, Dieu envoyait à nouveau Jésus, son fils unique " que nous verrons tous ensemble en 2017", et qu'il fallait que les enfants gardent " le bébé Jésus dans [leur] poche sans jamais le perdre jusqu'à ce qu'il revienne dans environ quatre ans ", ce qu'il était un des seuls au monde à savoir. A.X._ s'est à nouveau adressé à ses enfants par lettre du 11 janvier 2014. Il y expliquait qu'un dragon, qui avait beaucoup d'argent et de haine en lui, l'empêchait de les voir et de les aimer et qu'il devait aller le combattre, toujours avec ce même bâton que Dieu lui avait donné, qu'il considérait manifestement comme la prière. Il enjoignait les enfants à réciter la prière catholique " Je vous salue Marie " pour l'aider à combattre le dragon. Par lettre du même jour adressé au Président du Tribunal civil, il a fait valoir que ses enfants étaient très perturbés, que B.X._ avait empêché tout contact avec eux malgré qu'il lui eût rappelé les notions de pardon et de réalité biblique de l'enfer et que les enfants étaient les victimes de la haine de son épouse, alors que lui-même ne voulait leur transmettre qu'amour et paix. Il disait n'avoir plus confiance en la justice qui donnait la préférence à une mère ayant des comportements sexuels déviants devant ses enfants plutôt qu'à un père qui a la foi, l'espérance et la charité, et que cette iniquité conduirait les " deux enfants innocents à la même déchéance que leur mère ". B.a.f. Par lettre du 23 janvier 2014, la responsable du Point Rencontre a constaté que le père ne s'était pas rendu aux visites prévues les 21 décembre 2013, 4 et 18 janvier 2014, et que, sans nouvelles de lui depuis le 7 décembre 2013, le Point Rencontre renonçait à planifier de nouvelles dates de visite. B.a.g. Par requête de mesures protectrices de l'union conjugale du 26 janvier 2014, A.X._ a requis que son droit de visite soit rétabli. Il répétait que son épouse avait abandonné " le droit chemin de vérité et de justice ", qu'elle s'était " égarée en s'engageant sur le chemin du Mal sans mesure ", qu'il l'encourageait " vivement à se remettre en filiation avec le Bien, la Vérité, l'Amour et la Justice pour le bien de ses enfants ", et il ajoutait que " seul un retour total et radical à Jésus-Christ, à son Père et à leur Esprit-Saint dans la miséricorde infinie de notre Sauveur [permettait] un rétablissement d'une authentique Paix du coeur. Toute autre voie [était] sans issue et [provoquerait] à terme un mal beaucoup plus grand ". Par décision du 28 janvier 2014, le Président du Tribunal a rejeté cette requête. B.a.h. Alors qu'un droit de visite au Point Rencontre était fixé dès le 1 er février 2014, A.X._ a informé son épouse par courriel du 1 er mars 2014 qu'il cesserait toute visite dès le 15 mars 2014 jusqu'à ce que son droit soit rétabli de manière usuelle, le mode actuel étant trop traumatisant pour les enfants. Il y développait un paragraphe sur le concept d'adultère au sens de l'Eglise catholique et expliquait à son épouse qu'elle pourrait s'en sortir en faisant appel à la miséricorde de Dieu. B.a.i. Par décision du 24 janvier 2014, le Président du Tribunal a confirmé l'ordonnance de mesures superprovisionnelles du 2 octobre 2013 (cf. supra B.a.a), dit que l'exercice du droit de visite s'exercera par l'intermédiaire du Point Rencontre deux fois par mois pour une durée maximale de deux heures, à l'intérieur des locaux exclusivement, et ordonné la mise en oeuvre d'une expertise pédopsychiatrique des enfants, confiée à un pédopsychiatre à Vevey, la mission de l'expert consistant à évaluer les compétences parentales des deux parents, en particulier de faire toutes propositions utiles quant à l'attribution de l'autorité parentale et de la garde, ainsi qu'aux modalités d'exercice des relations personnelles. B.b. Par arrêt du 28 mars 2014, le Juge délégué de la Cour d'appel civile du Tribunal cantonal vaudois a rejeté l'appel interjeté contre cette décision par A.X._. C. Par acte posté le 12 mai 2014, A.X._ interjette un recours en matière civile contre cet arrêt. Il conclut, principalement, à sa réforme en ce sens que l'ordonnance de mesures superprovisionnelles du 2 octobre 2013 est révoquée et la requête de mesures provisionnelles de B.X._ du 2 octobre 2013 rejetée, et, subsidiairement, à son annulation et au renvoi de la cause à l'autorité précédente pour nouvelle décision au sens des considérants. Il se plaint de la violation de l'art. 9 Cst. dans l'application des art. 273 s. et 303 CC, ainsi que de celle de l'art. 15 Cst. Des observations n'ont pas été requises. 