Faits: A. X._, ressortissant italien né le *** 1966 à B._ (Italie), est entré en Suisse le 22 juin 1977 au bénéfice d'un regroupement familial. Célibataire, il est titulaire d'une autorisation d'établissement de type C dont le délai de contrôle est échu le 30 septembre 2007. Durant son séjour en Suisse, X._ a fait l'objet des condamnations pénales suivantes: - Le 21 novembre 1985, le Président du Tribunal pénal de Bâle-Ville a prononcé à son encontre vingt jours d'emprisonnement avec sursis pendant deux ans et une amende de 200 fr. pour tentative de vol et infractions répétées à la loi fédérale sur les stupéfiants du 3 octobre 1951 (LStup; RS 812.121). - Le 26 mai 1986, le Tribunal pénal de Bâle-Ville l'a condamné à vingt-trois mois d'emprisonnement pour infraction grave à la LStup et consommation répétée de drogues et a révoqué le sursis à l'exécution de la peine de vingt jours d'emprisonnement octroyé le 21 novembre 1985. Il a suspendu l'exécution de ces peines au profit d'une mesure au sens de l'art. 44 de l'ancien code pénal (ci-après: aCP). - Le 31 mai 1988, l'intéressé a été condamné par le Tribunal d'instruction pénale du Valais central à quinze jours d'emprisonnement pour vol et violation de la LStup. - Le 10 septembre 1990, le Tribunal du IIe arrondissement pour le district de Sierre lui a infligé cinq mois d'emprisonnement pour violence contre les fonctionnaires, complicité d'alcool au volant et soustraction de prise de sang. - Le 19 novembre 1990, le Tribunal d'instruction pénale du Valais central l'a condamné à quarante-cinq jours d'emprisonnement pour violence contre les fonctionnaires, escroquerie, recel et dommages à la propriété. - Le 12 août 1991, le Tribunal pénal de Bâle-Ville lui a infligé dix mois d'emprisonnement pour infraction grave à la LStup, abus de confiance et consommation répétée de drogues. - Le 25 septembre 1995, le Président du Tribunal pénal de Bâle-Ville l'a reconnu coupable de vol, tentative de vol, faux dans les titres, dommages à la propriété et délit contre la LStup et l'a condamné à six mois d'emprisonnement, peine qui a été suspendue au profit d'une mesure au sens de l'art. 44 aCP. - Le 19 août 1998, X._ a été condamné par le juge du district d'Aigle à trente jours d'emprisonnement pour violation grave des règles de la circulation routière et contravention à la LStup. - Le 11 octobre 2004, la Cour pénale I du Tribunal cantonal valaisan l'a reconnu coupable de vol et de violation de domicile. X._ a été condamné à cinq mois d'emprisonnement et astreint à un traitement médical ambulatoire. - Le 27 octobre 2004, le juge I des districts de Martigny et St-Maurice a prononcé à son encontre quatre mois et quinze jours d'emprisonnement pour violation de la LStup, vol, tentative de vol et brigandage. X._ a été en outre astreint à un traitement médical ambulatoire. - Le 11 mai 2005, l'Office régional du Juge d'instruction du Bas-Valais l'a condamné à trois mois d'emprisonnement pour vol et violation de domicile. - Le 11 mai 2006, le Tribunal de police de Lausanne lui a infligé trois mois d'emprisonnement pour délit et contravention à la LStup, en suspendant l'exécution de cette peine au profit d'un traitement ambulatoire pour toxicomanes. - Le 12 juin 2008, le juge d'instruction du Valais central l'a reconnu coupable de délit et contravention à la LStup et lui a infligé une peine de cent vingt heures de travail d'intérêt général. - Le 21 juillet 2008, X._ a été condamné par l'Office régional du Juge d'instruction du Bas-Valais à un travail d'intérêt général de quatre-vingts heures et à une amende de 300 fr. pour vol d'importance mineure, délit manqué de vol d'importance mineure, violation de domicile et contravention à la loi fédérale sur les transports publics du 4 octobre 1985. Au regard de ces multiples infractions, le Service de l'état civil et des étrangers du canton du Valais (SEE, devenu entre-temps le Service de la population et des migrations, ci-après: SPM) a adressé à X._ un sérieux avertissement en date du 7 janvier 1991. Par la suite, les 30 juin 1995 et 6 février 1996, il lui a communiqué deux menaces d'expulsion. Le 30 juin 2005, le SEE a informé X._ qu'il envisageait de proposer son expulsion. Ce dernier s'étant déterminé, le Chef du Département des finances, des institutions et de la sécurité du canton du Valais a prononcé en date du 29 septembre 2005 son expulsion de Suisse pour une durée indéterminée. B. Le 14 novembre 2005, X._ a saisi le Conseil d'Etat du canton du Valais, qui a rejeté son recours par décision du 24 juin 2009, après avoir complété l'instruction, notamment par une actualisation du dossier de l'intéressé auprès du SPM. Le 21 août 2009, X._ a porté la cause devant la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal), qui, le 4 février 2010, a rejeté son recours. La Cour cantonale a retenu en substance que les motifs d'expulsion prévus par la loi étaient réalisés, spécialement au regard des quatorze condamnations dont il avait fait l'objet entre 1985 et 2008. Elle a ainsi mis en évidence le fait que X._ avait été indifférent aux injonctions de l'autorité administrative compétente en matière de police des étrangers, n'ayant pas corrigé son comportement à la suite de l'avertissement sérieux de 1991 et des menaces d'expulsion de 1995 et 1996. Même après l'expulsion prononcée en 2005, il avait encore fait l'objet de trois condamnations. La mesure n'était ainsi pas contraire à l'accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681) ni à la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 1 113; en vigueur jusqu'au 31 décembre 2007). L'expulsion était également proportionnée aux circonstances, que ce soit au regard de la durée de son séjour en Suisse, des attaches dont il se prévaut dans cet Etat, de son état de santé ou de son évolution par rapport à sa dépendance à la drogue. C. Par écriture du 12 mars 2010, X._ a contesté devant le Tribunal fédéral la décision rendue par le Tribunal cantonal le 4 février 2010. Il se plaint de violation du droit fédéral, en particulier de l'art. 10 LSEE, ainsi que du droit cantonal et de l'art. 8 CEDH, d'établissement inexact des faits, de violation du droit constitutionnel, en particulier du principe de la bonne foi et de l'interdiction de l'abus de droit, ainsi que d'appréciation arbitraire des preuves. Il conclut sur le fond à l'annulation de la décision attaquée et au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants, le tout sous suite de frais et dépens. Il requiert le bénéfice de l'assistance judiciaire. Appelés à se prononcer sur cette écriture, le Conseil d'Etat du canton du Valais et l'Office fédéral des migrations concluent à son rejet, alors que le Tribunal cantonal a renoncé à se déterminer. 