Faits : A. A._, ressortissant portugais né en 1975, est arrivé en Suisse le 4 juillet 1987 à l'âge de 11 ans pour rejoindre ses parents qui y résidaient. Il a été mis au bénéfice d'une autorisation d'établissement. Il a poursuivi sa scolarité primaire en Suisse, ainsi que sa formation professionnelle. Il y a exercé différents emplois depuis 2003. Le 16 janvier 2002, A._ a eu une fille, de nationalité suisse. Entre 2002 et 2009, A._ a été condamné à de nombreuses reprises. - Par ordonnance du 18 février 2002, le Juge d'instruction de Lausanne l'a condamné, pour violation des règles de la circulation routière et conduite sans assurance responsabilité civile, à une peine de 5 jours d'emprisonnement avec sursis pendant 2 ans, ainsi qu'à une amende de 500 fr. - Par jugement du 13 août 2003, le Tribunal correctionnel de la Broye et du Nord vaudois l'a condamné, pour infraction à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (LStup; RS 812.121), à une peine de 6 mois d'emprisonnement avec sursis pendant 3 ans. - Par ordonnance du 26 novembre 2003, le Juge d'instruction de Lausanne l'a condamné, pour violation grave de la circulation routière, à une peine de 10 jours d'emprisonnement. - Par ordonnance du 1er mai 2006, le Juge d'instruction de la Côte l'a condamné, pour violation des règles de la circulation routière et conduite sans permis de conduire ou malgré un retrait, à une peine d'emprisonnement de 20 jours avec sursis pendant 4 ans. - Par jugement du 23 mai 2007, le Tribunal correctionnel de la Broye et du Nord vaudois l'a condamné, pour infraction à la LStup, à une peine de travail d'intérêt général de 160 heures et à une amende de 600 fr. - Par ordonnance du 10 octobre 2007, le Juge d'instruction de la Côte l'a condamné, pour conduite sans permis de conduire ou malgré un retrait, à une peine pécuniaire de 40 jours-amende. - Par ordonnance du 11 février 2008, le Juge d'instruction de Fribourg l'a condamné, pour violation d'une obligation d'entretien, à une peine pécuniaire de 20 jours-amende. Le 9 octobre 2009, le Tribunal correctionnel de Lausanne a condamné A._, pour infraction à la LStup, à une peine privative de liberté de 4 ans et une amende de 500 fr. Il a été constaté que A._ était dépendant de l'héroïne qu'il consommait depuis près de 10 ans, que celui-ci avait acquis plus de 2 kilos d'héroïne, soit plus de 220 grammes d'héroïne pure, pour une somme totale de 72'000 fr. et qu'il en avait vendu les trois quart pour un montant de l'ordre de 165'000 fr. Le Tribunal a retenu une responsabilité légèrement diminuée, mais une culpabilité très lourde et notamment la circonstance aggravante du métier. A._ a vécu de son trafic sur une longue période. Sa peine a été suspendue au profit d'un traitement institutionnel pour toxicomane. L'intéressé a ainsi été placé en institution du 9 novembre 2009 au 30 septembre 2010, puis a été suivi de manière ambulatoire. Le 8 octobre 2010, A._ s'est marié avec une ressortissante suisse qu'il connaissait depuis 18 ans. Un fils, de nationalité suisse, est né le 10 janvier 2011 de cette union. Lors d'une audition le 12 décembre 2011 par la police cantonale, l'intéressé a expliqué vivre avec son épouse et son fils, suivre un traitement ambulatoire ainsi que des contrôles d'abstinence, voir sa fille toutes les deux semaines, travailler à 100 % comme opérateur dans un atelier de l'institution pour toxicomanes, faire l'objet de poursuites pour un montant de 100'000 fr. et avoir toutes ses attaches familiales en Suisse, à l'exception de ses parents résidant au Portugal. Dans un rapport du 12 avril 2013 destiné au Juge d'application des peines, l'institution dans laquelle l'intéressé était soigné a notamment mentionné que le 25 janvier 2013, il avait été constaté que A._ n'avait pas réussi à arrêter sa consommation d'héroïne et se procurait de la méthadone sans prescription. Cette institution a également relevé que l'intéressé avait perdu son emploi à la fin février 2013. Un nouveau contrôle effectué le 3 avril 2013 attestait cette fois d'une abstinence de trois semaines. Par décision du 1 er mai 2013, notifiée le 7 mai 2013, le Chef du Département de l'économie et du sport du canton de Vaud (ci-après: le Département), sur proposition du Service de la population du canton de Vaud (ci-après: le Service de la population) a révoqué l'autorisation d'établissement de A._ et lui a imparti un délai immédiat pour quitter la Suisse. Ce dernier a recouru le 6 juin 2013 contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal). Durant la procédure, l'intéressé a notamment indiqué être au bénéfice d'un contrat de travail de durée indéterminée depuis le 1 er octobre 2013. B. Par arrêt du 19 décembre 2013, le Tribunal cantonal a rejeté le recours de l'intéressé et confirmé la décision du Département. Il a en substance retenu que l'intéressé, vu ses condamnations, remplissait les motifs permettant de révoquer son autorisation d'établissement et qu'il existait notamment un risque sérieux que A._ récidive, dès lors que celui-ci était un toxicomane bien inséré dans ce commerce. Pour le surplus, les juges cantonaux ont estimé que le renvoi de l'intéressé représentait une mesure proportionnée et que celle-ci ne contrevenait pas à l'art. 8 CEDH. C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, principalement d'annuler l'arrêt du 19 décembre 2013 du Tribunal cantonal et de renvoyer la cause pour nouvelle instruction et nouvelle décision, subsidiairement de confirmer, respectivement renouveler son autorisation d'établissement. Il se plaint d'établissement inexact des faits par l'autorité précédente ainsi que de violation de l'art. 5 al. 1 annexe I de l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (Accord sur la libre circulation des personnes, ALCP; RS 0.142.112.681) et de violation de l'art. 8 CEDH. Par ordonnance du 7 février 2014, le Président de la II e Cour de droit public a admis la demande d'effet suspensif. Le Service de la population et le Tribunal cantonal renoncent à se déterminer. Le Département se rallie à la position du Tribunal cantonal. L'Office fédéral des migrations conclut au rejet du recours. 