Faits: A. Ressortissant chilien né en 1971, X._ est entré en Suisse le 14 juillet 1980 avec sa famille et a obtenu, le 13 novembre 1981, le statut de réfugié. Il a ensuite été mis au bénéfice d'une autorisation d'établissement. Sur le plan médical, X._ souffre de psychose schizophrénique de type hébéphrénique tendant à la chronicité et d'addiction à l'alcool ainsi qu'aux stupéfiants. Il bénéficie d'une rente entière de l'assurance-invalidité. Il a en outre été placé sous tutelle par décision du 3 décembre 1992 de la Justice de paix du cercle de Lausanne. B. Durant son séjour en Suisse, X._ a fait l'objet des condamnations et mesures pénales suivantes: - En 1989, le Tribunal des mineurs de Lausanne l'a condamné à une peine privative de liberté de huit mois pour brigandage, vol en bande, vol par métier, dommages à la propriété, escroquerie, violation de domicile, violences ou menace contre les autorités et les fonctionnaires, utilisation d'un cycle ou cyclomoteur sans droit, cession de véhicule à moteur à un conducteur sans permis de conduire, violation des règles de la circulation routière, contravention et délit contre la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (LStup; RS 812.121), violation des devoirs en cas d'accident et pour circulation sans permis de conduire avec un cyclomoteur. - En 1991, le Tribunal cantonal vaudois a ordonné une mesure d'internement à l'égard de l'intéressé pour vol par métier, violation de domicile, contravention à la LStup et obtention frauduleuse d'une prestation. - En 1994, le Juge de Police d'Estavayer-le-Lac l'a condamné à une peine privative de liberté de trente jours pour vol, dommages à la propriété, violation de domicile et contravention à la LStup. - En 2000, X._ a été reconnu coupable de lésions corporelles simples et de violence ou menace contre les autorités et les fonctionnaires et a été condamné par le Juge d'instruction de Lausanne à huitante-huit jours de peine privative de liberté. - En 2002, le Juge d'instruction de Lausanne l'a condamné à une peine privative de liberté avec sursis de quinze jours pour vol et contravention à la LStup. - En décembre 2006, le Tribunal d'arrondissement de Lausanne l'a condamné à une peine privative de liberté de deux ans et six mois, assortie de la poursuite d'un traitement psychothérapeutique ambulatoire, pour remise à des enfants de substances nocives, vol et tentative de vol, dommage à la propriété, injure, violation de domicile, actes d'ordre sexuel avec des enfants, viol, violence ou menace contre les autorités et les fonctionnaires, contravention à la LStup et infraction à la loi fédérale du 20 juin 1997 sur les armes, les accessoires d'armes et les munitions (LArm; RS 514.54). Il a en outre révoqué le sursis accordé en 2002. Ce jugement a été partiellement réformé par la Cour de cassation pénale du Tribunal cantonal vaudois, qui a réduit la quotité de la peine privative de liberté à deux ans et cinq mois et l'a assortie d'une amende de deux cents francs. Les infractions contre l'intégrité sexuelle commises par X._ portaient non seulement sur la commission d'un viol, mais également sur des relations sexuelles entretenues à plusieurs reprises avec une mineure, que l'intéressé savait âgée de moins de quinze ans. - Par jugement du 28 février 2008, le Juge d'application des peines a refusé de mettre X._ au bénéfice d'une libération conditionnelle, considérant, en substance, que celui-ci se trouvait dans le déni de l'agression sexuelle et que de nouveaux débordements comportementaux étaient susceptibles de se produire en cas de libération. Le 1er décembre 2008, X._ a été libéré. - Par ordonnance du 26 juillet 2010, le Juge d'instruction de Lausanne a condamné X._ à une peine privative de liberté de quarante jours pour vol et contravention à la LStup. Le 4 février 2011, le Juge d'application des peines a levé l'injonction de traitement ordonnée en 2005 à l'égard de l'intéressé. C. En avril 2005, X._, qui souhaitait se rendre au Chili, a sollicité de l'Office fédéral des migrations l'ouverture d'une procédure de renonciation au statut de réfugié. Par décision du 2 septembre 2011, l'Office fédéral des migrations a révoqué l'asile accordé à X._, en raison du comportement délictueux de celui-ci, et lui a retiré sa qualité de réfugié, les circonstances à l'origine de l'octroi de son statut ayant pris fin. D. Le 14 novembre 2011, le Service de la population du canton de Vaud (ci-après: le Service cantonal) a signifié à X._ qu'il entendait proposer au département compétent de prononcer la révocation de son autorisation d'établissement ainsi que son renvoi de Suisse, et à l'Office fédéral des migrations d'adopter à son encontre une mesure d'interdiction d'entrée en Suisse. Le Département de l'économie du canton de Vaud (ci-après: le Département de l'économie) y a procédé par décision du 13 février 2012 et imparti à l'intéressé un délai immédiat pour quitter la Suisse, après que celui-ci eut produit un rapport médical établi à son attention par le chef de clinique auprès de l'Unité de psychiatrie mobile du Département de psychiatrie du Centre hospitalier universitaire vaudois, d'où il ressort qu'en dépit de son évolution favorable sur les plans tant psychique, social que légal, X._ n'en présente pas moins "une pathologie psychiatrique grave" ainsi qu'une "importante vulnérabilité à tous les facteurs de stress", susceptibles de générer une décompensation du trouble psychique en cas de rupture du cadre mis en place. X._ a recouru contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: le Tribunal cantonal). Il a produit, à l'appui de son recours, un certificat médical établi par le médecin chef du Service de psychiatrie générale du Département de psychiatrie du Centre hospitalier universitaire vaudois, qui fait état d'un "risque de décompensation rapide de la situation psychiatrique" de X._ ainsi que d'un "risque vital non négligeable" en cas d'expulsion de celui-ci. E. Par arrêt du 28 juin 2012, le Tribunal cantonal a rejeté le recours de X._ contre la décision du 13 février 2012 et accordé à son défenseur d'office une indemnité de 3'218 fr. 40. Il a jugé que X._ s'était rendu coupable d'une grave infraction contre l'intégrité sexuelle et avait été condamné à une peine privative de liberté de longue durée au sens des art. 62 al. 2 et 63 al. 2 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20). Le risque de récidive élevé reconnu par les autorités pénales suffisait à admettre que la présence en Suisse du recourant constituait une menace très grave pour l'ordre public. Par ailleurs, l'intérêt public à son éloignement de Suisse devait prévaloir sur l'intérêt de X._ à demeurer dans le pays, où il bénéficie d'un environnement stable et de la présence de ses proches. F. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de dépens, principalement, de réformer l'arrêt attaqué en ce sens que l'autorisation d'établissement soit maintenue et que l'indemnité allouée à son conseil soit portée à 7'410 fr. Il conclut, subsidiairement, à la réforme de l'arrêt attaqué en ce sens que celui-ci vaille uniquement avis comminatoire au sens de l'art. 96 LEtr et que l'indemnité allouée à son conseil soit portée à 7'410 fr. Il sollicite en outre sa mise au bénéfice de l'assistance judiciaire. Il a persisté dans ses motifs et conclusions dans sa détermination du 26 novembre 2012. Le chef du Département de l'économie se rallie aux considérants de l'arrêt attaqué. Le Service cantonal et le Tribunal cantonal, lequel se réfère aux considérants de l'arrêt attaqué, renoncent à se déterminer sur le recours. L'Office fédéral des migrations conclut au rejet de celui-ci. Par ordonnance présidentielle du 4 septembre 2012, le Tribunal fédéral a admis la requête d'effet suspensif formée par X._. 