Faits : A. Feu F.Y._ et G.Y._, agriculteurs, ont eu trois enfants, dont une fille, B.Y._, et un fils, H.Y._. Ce dernier a succédé à ses parents à la tête du domaine de vingt-quatre hectares de terrains agricoles et de plusieurs bâtiments d'habitation et d'exploitation, réparti en cinq parcelles n os 1, 2, 3, 4 et 5 de la commune de U._. A.a. H.Y._ est décédé le 30 septembre 1995, laissant pour héritiers, son épouse, C.Y._ et ses deux enfants, D.Y._ et E.Y._, qui ont tous trois été inscrits, le 5 août 1996, en qualité de propriétaires en main commune des immeubles n os 1, 2, 3, 4 et 5 de la commune de U._. Aucun des héritiers n'étant en mesure de l'exploiter personnellement, le 20 avril 1996, les hoirs de feu H.Y._ ont remis en affermage le domaine agricole de vingt-quatre hectares dépendant de la succession de feu H.Y._ à A.X._ - l'un des deux fils de B.Y._, la soeur du défunt -, pour une durée de douze ans, se terminant le 31 décembre 2007, contre un loyer annuel de 30'000 fr. A.X._ a aussi racheté le chédail et le capital fermier. A.b. Selon le rapport d'expertise judiciaire déposé le 13 septembre 2010 et le complément de rapport du 29 mars 2011, le bâtiment d'habitation - dont deux appartements sont habités respectivement par C.Y._ et E.Y._ -, le rural attenant et le garage situés sur la parcelle n° 1, sont des immeubles sans vocation agricole, à exclure d'un domaine agricole cohérent, qui devraient pouvoir en être détachés avec une nouvelle parcelle d'environ 2'300 m 2. Les experts indiquent en revanche que tous les autres bâtiments sont utiles et rattachés au domaine agricole, leur ensemble constituant un corps de ferme groupé. A.c. Le bail à ferme agricole de A.X._ a été prolongé pour une durée de six ans, à savoir jusqu'au 31 décembre 2016, par jugement du 15 août 2008 du Président du Tribunal d'arrondissement de la Broye et du Nord vaudois. B. Par demande du 1 er mai 2009, remplaçant une demande antérieure du 26 octobre 2007 contenant déjà des conclusions en exercice d'un droit d'emption, A.X._ a conclu notamment à ce que les parcelles n os 1, 2, 3, 4 et 5 de la commune de U._, propriété de la communauté héréditaire de feu H.Y._, à savoir C.Y._, D.Y._ et E.Y._, lui soient transférées moyennant paiement de sa part d'un montant fixé à dire d'expert et à ce que le Conservateur du Registre foncier de l'arrondissement du Jura - Nord vaudois soit invité à procéder aux inscriptions nécessaires aux transferts immobiliers ordonnés. A.X._ a complété ses conclusions le 22 mars 2012, précisant qu'une surface de l'ordre de 2'300 m 2 sur la parcelle n° 1 resterait propriété des défendeurs, et que le montant dû par lui-même est de 409'396 fr., correspondant à la valeur de rendement du domaine agricole. B.a. Par jugement du 1 er mai 2013, la Présidente du Tribunal civil de l'arrondissement de la Broye et du Nord vaudois a notamment rejeté, dans la mesure de leur recevabilité, les conclusions du demandeur tendant au transfert des parcelles n os 1, 2, 3, 4 et 5 de la commune de U._ et à la réquisition des inscriptions nécessaires au Registre foncier. B.b. Par arrêt du 30 septembre 2013, communiqué aux parties le 10 mars 2014, la Cour d'appel civile du Tribunal cantonal du canton de Vaud a rejeté l'appel formé par A.X._ le 30 mai 2013, confirmé le jugement attaqué et condamné l'appelant à verser aux intimés, solidairement entre eux, la somme de 4'000 fr., à titre de dépens de deuxième instance. C. Par acte du 10 avril 2014, A.X._ exerce un recours en matière civile au Tribunal fédéral. Reprenant ses conclusions prises en appel, il conclut à ce que les parcelles n os 1, 2, 3, 4 et 5 de la commune de U._, propriété de la communauté héréditaire de feu H.Y._, lui soient transférées, étant précisé qu'une surface de l'ordre de 2'300 m 2 sur la parcelle n° 1 et les bâtiments qui s'y trouvent, restent propriété des intimés, étant en outre précisé que le montant dû par lui-même est de 409'396 fr., et à ce que le Conservateur du Registre foncier soit invité à procéder aux inscriptions nécessaires aux transferts immobiliers, le dispositif du jugement étant maintenu pour le surplus. Au préalable, le recourant sollicite l'octroi de l'effet suspensif à son recours, en ce qui concerne le versement de dépens aux intimés, ordonné par l'arrêt entrepris, et requiert par voie de mesures provisionnelles, à ce qu'interdiction soit faite aux intimés d'aliéner les parcelles n os 1, 2, 3, 4 et 5 de la commune de U._, jusqu'à droit connu sur le recours. Le 11 avril 2014, le Président de la IIe Cour de droit civil du Tribunal fédéral a, à titre superprovisoire, interdit à C.Y._, D.Y._ et E.Y._ d'aliéner les parcelles n os 1, 2, 3, 4 et 5 de la commune de U._ en l'état. Invités à se déterminer sur la requête d'effet suspensif, les intimés et l'autorité précédente s'en sont remis à justice. D. Par ordonnance du 9 mai 2014, le Président de la IIe Cour de droit civile du Tribunal fédéral a rejeté la requête d'effet suspensif et admis la demande de mesures provisionnelles, en ce sens qu'interdiction a été faite à C.Y._, D.Y._ et E.Y._ d'aliéner les parcelles n os 1, 2, 3, 4 et 5 de la commune de U._, jusqu'à droit connu sur le fond du recours. Des réponses au fond n'ont pas été requises. 