Faits : A. A.X._, de nationalité britannique et domicilié en Grande-Bretagne, a acquis avec son épouse, le 7 février 2008, la parcelle n° xxxx de la commune de C._, sur laquelle est bâtie une habitation servant comme logement de vacances. Pour acquérir cette parcelle, A.X._ a vendu le même jour à son père B.X._ le logement de vacances dont il était déjà propriétaire, soit la parcelle n° xxxx sise sur la même commune. B.X._, décédé le 10 mars 2012, a légué la parcelle n° xxxx à A.X._. Le 13 décembre 2012, la notaire chargée de l'établissement de l'acte de délivrance de ce legs a informé la Commission foncière du canton de Vaud, Section II (ci-après la Commission foncière) de la prochaine réquisition de transfert de propriété de la parcelle n° xxxx à A.X._, sollicitant de cette autorité une décision constatant le non-assujettissement de ce transfert au régime de l'autorisation en application de l'art. 7 let. a de la loi fédérale sur l'acquisition d'immeubles par des personnes à l'étranger (LFAIE; RS 211.412.41), qui prévoit que les héritiers légaux au sens du droit suisse ne sont pas assujettis au régime de l'autorisation dans la dévolution d'une succession. A défaut, elle sollicitait de la Commission foncière qu'elle autorise A.X._ à acquérir dite parcelle. B. Par décision du 8 mars 2013, la Commission foncière a autorisé SimoA. X._ à acquérir la parcelle n° xxxx, assortissant toutefois cette décision de l'obligation d'aliéner cette dernière dans un délai de deux ans. Le 23 avril 2013, A.X._ a recouru contre la décision du 8 mars 2013 de la Commission foncière auprès de la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après le Tribunal cantonal). Par arrêt du 20 novembre 2013, le Tribunal cantonal a partiellement admis le recours. Il a retenu que le transfert de propriété de la parcelle n° xxxx n'était pas soumis à autorisation, conformément à l'art. 7 let. a LFAIE, mais a confirmé sur le principe la validité de l'obligation d'aliéner dans un délai de deux ans par application analogique de l'art. 8 al. 2 LFAIE, le recourant devant toutefois être libre de décider de laquelle des deux parcelles il entendrait se séparer dans ce délai. Le Tribunal cantonal a réformé le dispositif de la décision du 8 mars 2013 de la Commission foncière en conséquence. C. A.X._ recourt au Tribunal fédéral par la voie du recours en matière de droit public contre l'arrêt du 20 novembre 2013. Il conclut principalement à la réforme de la décision attaquée dans le sens de l'annulation de l'obligation d'aliéner la parcelle n° xxxx ou la parcelle n° xxxx dans un délai de deux ans. A titre subsidiaire, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause au Tribunal cantonal pour complément d'instruction et nouvelle décision dans le sens des considérants. Le Tribunal cantonal et l'Office fédéral de la justice n'ont pas formulé d'observations. La Commission foncière a conclu au rejet du recours. Par ordonnance du 13 janvier 2014, le Président de la IIe Cour de droit public a déclaré sans objet la requête d'effet suspensif contenue dans le recours, dès lors que le délai de deux ans pour aliéner l'une des parcelles imparti au recourant par application analogique de l'art. 8 al. 2 LFAIE ne commence à courir qu'au moment de l'entrée en force de chose jugée de la décision d'autorisation d'acquérir (cf. arrêt 2A.433/2001 du 18 décembre 2001 consid. 5), soit, en cas de recours auprès du Tribunal fédéral, lorsque ce dernier a statué (Bernard Corboz, in Commentaire romand de la LTF, 2 e éd. 2014, n° 13 ad art. 103 LTF). 