Faits: A. A.a X._, ressortissant de Bosnie et Herzégovine né le *** 1985 à Srebrenica, est arrivé en Suisse le 12 avril 1993 avec sa mère. Son père, fait prisonnier pendant la guerre, les a rejoints dans le courant de l'année 1996 et a obtenu l'asile le 29 janvier 2001. Au bénéfice d'une admission provisoire, X._ et sa mère ont, le 9 mars 2001, été mis au bénéfice de l'asile et du statut de réfugié par regroupement familial. L'intéressé a obtenu une autorisation d'établissement pour résider en qualité de réfugié, en date du 28 mai 2001. Il a accompli sa scolarité obligatoire en Suisse, mais n'a pas obtenu de diplôme de formation professionnelle. Par jugement du 30 mars 2006, le Tribunal correctionnel de l'arrondissement de Lausanne (ci-après: le Tribunal correctionnel) a condamné X._ à 18 mois de détention avec sursis pendant 5 ans pour des infractions commises entre le 3 mars 2004 et le 26 avril 2005, soit pour, notamment, voies de fait, mise en danger de la vie d'autrui, vol, abus de confiance, menaces, obtention frauduleuse d'une prestation, violation de domicile, vol d'usage, circulation sans permis de conduire, usage abusif de permis et contravention à la loi fédérale du 3 octobre 1952 sur les stupéfiants (ci-après: LStup). Le tribunal a en outre prononcé son expulsion du territoire suisse pour une durée de 3 ans avec sursis pendant 5 ans. Le 18 septembre 2008, le Tribunal correctionnel a condamné X._ à une peine privative de liberté de 27 mois et à une amende de 1'000 francs; cette peine sanctionnait des infractions perpétrées entre le 22 avril 2006 et le 12 décembre 2007, soit, principalement, des abus de confiance, vol, escroquerie, circulation sans permis de conduire et infraction à la LStup; le sursis accordé le 30 mars 2006 a été révoqué. Consommateur régulier et compulsif de cocaïne, il s'est vu imposer un traitement ambulatoire. X._ a été libéré conditionnellement le 9 mars 2009. Le même mois, il a donné lieu à des dénonciations. Il s'est, de plus, soustrait aux conditions assortissant sa libération conditionnelle qui consistaient, notamment, dans des contrôles d'abstinence de stupéfiants et un traitement ambulatoire. Par jugement du 9 décembre 2009, le Tribunal correctionnel a constaté que X._ s'était rendu coupable, entre le 17 mars et le 22 mai 2009, d'abus de confiance et de conduite sans permis; il l'a condamné à une peine privative de liberté de 10 mois et à une amende de 500 fr. Le tribunal a souligné que, malgré son jeune âge, l'accusé avait un casier judiciaire impressionnant et que le pronostic le concernant était sombre. X._ a été libéré le 1er mai 2010 au terme de l'exécution de sa peine. A.b Entre-temps, par décision du 9 mars 2010, confirmée sur recours le 19 mai 2010 par le Tribunal administratif fédéral, l'Office fédéral des migrations (ci-après: l'Office fédéral) a révoqué l'asile accordé à X._ au motif que les infractions commises, compte tenu de leur nombre, leur répétition et leur gravité, constituaient des actes particulièrement répréhensibles. A.c Le Chef du Département de l'intérieur du canton de Vaud (ci-après: le Chef du Département) a ordonné, le 15 décembre 2010, la révocation de l'autorisation d'établissement de X._ et lui a imparti un délai immédiat pour quitter la Suisse. Le 5 avril 2011, X._ ayant reconnu au moins une trentaine d'infractions commises entre le 17 juin 2010 et le 6 mars 2011, il a été arrêté et placé en détention provisoire, détention remplacée par une mesure de substitution sous la forme d'un traitement ambulatoire comprenant des contrôles d'abstinence aux stupéfiants. Une expertise psychiatrique du 22 juillet 2011, émanant de A._, a diagnostiqué un trouble de la personnalité mixte, à traits narcissiques et antisociaux et une dépendance à la cocaïne; selon le rapport, si une psychothérapie était possible, les possibilités de mener à bien cette mesure étaient faibles, l'expertisé ne reconnaissant pas la nécessité d'un tel suivi; une tentative de traitement ambulatoire de la dépendance restait la seule perspective thérapeutique réaliste, bien que ses chances de succès soient toujours faibles et que le risque de récidive d'actes de même nature restait important. X._ a été arrêté le 3 octobre 2011: il avait admis un délit commis en août, tout en en contestant d'autres, et a reconnu qu'il continuait à conduire sans être titulaire du permis requis et qu'il consommait toujours de la cocaïne. Il a alors été remis en détention, la révocation des mesures de substitution ayant été ordonnée. B. Le 30 janvier 2012, le Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours contre la décision du 15 décembre 2010 du Chef du Département ordonnant la révocation de l'autorisation d'établissement de X._. Il a en substance jugé que c'était à bon droit que l'autorisation d'établissement de l'intéressé, multirécidiviste, avait été révoquée, compte tenu de la répétition des condamnations infligées et de leur gravité; en outre, la qualité de réfugié de X._ ne s'opposait pas à son renvoi et ne violait pas le principe de non-refoulement; finalement, il ne remplissait pas les conditions d'octroi d'une admission provisoire. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral de réformer l'arrêt du 30 janvier 2012 du Tribunal cantonal en ce sens que son autorisation d'établissement est maintenue, subsidiairement, d'annuler son renvoi et de lui octroyer une admission provisoire et, plus subsidiairement, d'annuler l'arrêt attaqué et de renvoyer la cause à l'autorité intimée pour nouvelle décision dans le sens des considérants. Le Service de la population du canton de Vaud et le Chef du Département renoncent à se déterminer, alors que le Tribunal cantonal et l'Office fédéral concluent au rejet du recours. Par ordonnance du 6 mars 2012, le Président de la IIème Cour de droit public a accordé l'effet suspensif au recours. 