Faits: A. X._, ressortissant roumain né en 1988, est entré en Suisse le 4 janvier 2002 au titre du regroupement familial avec sa mère titulaire d'une autorisation de séjour. Mis au bénéfice d'une autorisation de séjour le 20 septembre 2002, le prénommé s'est ensuite vu délivrer une autorisation d'établissement le 24 avril 2006. X._ a fait l'objet des condamnations suivantes: - Le 15 septembre 2008, le Juge d'instruction de Lausanne l'a condamné à une peine pécuniaire de 20 jours-amende, assortie du sursis et d'un délai d'épreuve de deux ans, ainsi qu'à une amende de 300 fr., pour lésions corporelles simples et voies de fait (infractions commises les 25 février et 24 octobre 2007). - Le 17 janvier 2011, le Tribunal correctionnel de l'arrondissement de Lausanne, prononçant une peine d'ensemble avec celle du 15 septembre 2008, l'a condamné à une peine privative de liberté de trois ans et six mois (sous déduction de 363 jours de détention préventive) et a révoqué le sursis accordé le 15 septembre 2008, pour infraction grave et contravention à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (LStup; RS 812.121), infractions commises du 1er février 2009 au 20 janvier 2010. Il ressort du jugement du 17 janvier 2011 que les faits pour lesquels X._ a été condamné portent sur la vente de 2,5 kg d'héroïne, le conditionnement d'un kg d'héroïne, ainsi que le transfert de 1,1 kg d'héroïne. Le bénéfice réalisé par le prénommé, chiffré tant bien que mal par ce dernier, a avoisiné les 50'000 fr. Il est par ailleurs indiqué qu'il a consommé une trentaine de boulettes de cocaïne entre février 2009 et le 20 janvier 2010, environ 630 gr. d'héroïne entre la mi-juillet et début décembre 2009 et environ 260 gr. d'héroïne entre novembre 2009 et le 20 janvier 2010. Le Tribunal correctionnel a retenu les circonstances aggravantes de la quantité, de la bande et du métier. Cet arrêt retient pour le reste ce qui suit (p. 14): "X._ a été soumis à une expertise psychiatrique confiée au Dr [...] qui a rendu un rapport du 23 juillet 2010 [...]. Le diagnostic est celui de trouble de personnalité dyssociale, de troubles mentaux et du comportement liés à l'utilisation d'opiacés, ainsi qu'à celle de cocaïne et de dérivés du cannabis, utilisation nocive pour la santé; il y a aussi le syndrome de dépendance, actuellement abstinent dans un environnement protégé. Dans les questions, on voit que nonobstant ce trouble sévère dans la santé psychique, la responsabilité est entière. Le risque de récidive est donné, et même élevé." La culpabilité de X._ a été qualifiée de lourde, dans la mesure où ce délinquant, pourtant jeune, avait développé un trafic très efficace en très peu de temps, avec des quantités très élevées. C'étaient ainsi d'innombrables doses d'héroïne de mauvaise qualité qui avaient été mises sur le marché par un prévenu sans doute toxicomane, mais pleinement responsable de ses actes et qui avait agi par appât du gain autant que pour satisfaire son vice. A sa décharge, le Tribunal a retenu son immaturité, sa bonne collaboration et sa toxicomanie, même s'il ne s'agissait pas du seul moteur de l'activité délictueuse. B. Le 8 juillet 2011, le Service de la population du canton de Vaud a informé X._ qu'eu égard à ses condamnations pénales, il entendait proposer au Département cantonal compétent de révoquer son autorisation d'établissement et de lui impartir un délai pour quitter la Suisse dès qu'il aurait satisfait à la justice, l'Office fédéral des migrations étant de son côté amené à prendre à son encontre une mesure d'interdiction d'entrée en Suisse. Le 22 novembre 2011, X._ a affirmé au Service de la population qu'il avait honte de son comportement, dont il avait mis du temps à comprendre la portée. Relevant avoir débuté diverses formations en prison en vue de se réinsérer socialement, il a en outre signalé avoir déposé une demande pour intégrer la fondation "Le Relais", à Morges, institution oeuvrant pour l'insertion sociale et professionnelle de jeunes adultes en difficulté. Par décision du 13 décembre 2011, le Département de l'intérieur du canton de Vaud a révoqué l'autorisation d'établissement de X._ et lui a enjoint de quitter la Suisse sans délai dès qu'il aurait satisfait à la justice. Contre cette décision, X._ a recouru le 26 janvier 2012 à la Cour de droit administratif et public du Tribunal cantonal (ci-après: le Tribunal cantonal), qui l'a débouté par arrêt du 14 mars 2012. C. X._ forme un "recours de droit public" auprès du Tribunal fédéral contre le jugement du Tribunal cantonal du 14 mars 2012. Outre l'effet suspensif et l'octroi de l'assistance judiciaire, il requiert principalement l'annulation de l'arrêt entrepris, le maintien voire la prolongation du permis d'établissement et le renvoi du dossier à l'instance précédente, afin qu'elle statue à nouveau sur le sort des frais et dépens de la procédure accomplie devant elle. A titre subsidiaire, il requiert le renvoi de la cause au Tribunal cantonal après annulation, "pour qu'il invite le service vaudois de la population à établir un permis de séjour en sa faveur et qu'il statue à nouveau sur le sort des frais et dépens de la procédure accomplie devant lui". Le Tribunal cantonal et le Service de la population renoncent à se déterminer sur le recours, alors que l'Office fédéral des migrations conclut à son rejet. Le 1er mai 2012, le Président de la IIème Cour de droit public a accordé l'effet suspensif. 