Faits : A. A.a. X._, ressortissant portugais, né en 1978, est entré en Suisse le 27 février 1988 afin de rejoindre ses parents, domiciliés à Sion. Il a été mis au bénéfice d'une autorisation d'établissement. A l'âge de onze ans, l'intéressé a perdu son père, auprès duquel il vivait depuis la séparation de ses parents. Après un retour provisoire auprès de sa mère et de sa soeur, au cours duquel il a subi de mauvais traitements, X._ a été placé en institution pour mineurs. Il a mis fin à sa scolarité en 2ème année du cycle d'orientation et n'a obtenu aucune formation professionnelle. Le 10 décembre 2004, la Croix Rouge valaisanne lui a délivré une attestation de la réussite d'un cours d'auxiliaire de santé. A.b. Durant son séjour en Suisse, X._ a fait l'objet des condamnations suivantes : - Le 2 février 1995, par le Tribunal des mineurs du canton du Valais, à 14 jours d'emprisonnement avec sursis pendant deux ans, pour vol, dommage à la propriété et violation de domicile. L'intéressé a été soumis à un patronage durant le délai d'épreuve et mis au bénéfice d'une assistance éducative; - le 10 juin 1997, par le Juge d'instruction pénale du Valais central, à 10 jours d'emprisonnement pour dommages à la propriété; - le 22 juin 1998, par le Tribunal du IIème arrondissement pour le district de Sion, à 26 mois de réclusion pour vols en bande et par métier, délits manqués et tentatives de vol en bande et par métier, dommages à la propriété, violations de domicile et infractions à la loi fédérale sur les stupéfiants et les substances psychotropes du 3 octobre 1951 (LStup; RS 812.121). Cette peine a été suspendue en faveur d'un placement dans un établissement genevois pour toxicomanes; - le 17 décembre 1999, par le Juge d'instruction pénale du Valais central, à 2 mois d'emprisonnement, pour vol, tentatives de vol, dommages à la propriété, dommages à la propriété d'importance mineure, violation de domicile et violation de la LStup; - le 18 juin 2008, par le Juge III du district de Sion, à 15 jours-amendes de 50 fr. et à une amende de 300 fr. pour infractions à la LStup; - le 16 juin 2011, par la Cour pénale II du Tribunal cantonal valaisan, statuant sur appel, à une peine privative de liberté de 18 mois, avec sursis partiel à concurrence de 9 mois avec délai d'épreuve de quatre ans, ainsi qu'à une amende de 300 fr., peine partiellement complémentaire à celle du 18 juin 2008, pour violation grave de la LStup, contravention à la LStup et violation de la loi fédérale sur les armes, les accessoires d'armes et les munitions du 20 juin 1997 (LArm; RS 514.54). B. Après lui avoir notifié un sérieux avertissement le 6 octobre 1999, ainsi qu'une menace d'expulsion du territoire suisse le 26 juin 2000, le Service de la population et des migrations du canton du Valais (ci-après: le Service de la population) a révoqué l'autorisation d'établissement de X._ et l'a renvoyé de Suisse, par décision du 16 avril 2012. Le recours interjeté auprès du Conseil d'Etat du canton du Valais (ci-après: le Conseil d'Etat) a été rejeté le 16 octobre 2013. Saisi d'un recours dirigé contre la décision précitée du Conseil d'Etat, le Tribunal cantonal du canton du Valais, Cour de droit public (ci-après: le Tribunal cantonal) l'a rejeté, par arrêt du 21 mars 2014. Il a considéré, en substance, que la révocation de l'autorisation d'établissement de X._ était justifiée, tant au regard de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20) que de l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681). Elle respectait en outre le principe de proportionnalité. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal cantonal et de dire que son autorisation d'établissement est prolongée. Il invoque la violation de l'art. 5 par. 1 Annexe I de l'ALCP, de l'art. 63 LEtr et du principe de la proportionnalité. Le Tribunal cantonal et le Service de la population renoncent à se déterminer sur le recours. Le Conseil d'Etat et l'Office fédéral des migrations concluent à son rejet. 