Faits: A. A.a Né en 1986 au Kosovo, X._ est arrivé en Suisse en 1988, afin d'y rejoindre ses parents. Il a été mis au bénéfice d'une autorisation d'établissement. Le 29 octobre 2004, X._ a épousé au Kosovo une compatriote, A._, qui est arrivée en Suisse en 2005 au bénéfice d'une autorisation de séjour par regroupement familial. Le couple s'est installé chez les parents de X._ et a cohabité avec les quatre frères et soeurs de ce dernier. Le *** 2006, X._ et son épouse ont eu une fille, B._, qui a été mise au bénéfice d'une autorisation d'établissement. A la fin de l'année 2007, X._ a quitté le domicile conjugal et s'est installé avec son amie, C._. X._ n'a pas achevé de formation et n'a connu que des emplois précaires. Pendant ses périodes d'inactivité, il a bénéficié de prestations de l'aide sociale qui se sont élevées au total à 94'861,60 fr. de janvier 2004 à août 2010. Il a par ailleurs contracté des dettes de l'ordre de 40'000 fr. en jouant et faisant la fête. A.b Sur le plan pénal, X._ aurait, selon ses déclarations, été condamné, en tant que mineur, pour racket. Puis, entre juin 2005 et décembre 2007, il s'est vu infliger de trois amendes allant de 190 à 920 fr. pour violation des règles de la circulation routière. Le 9 octobre 2009, le Tribunal correctionnel d'arrondissement de la Côte (ci-après: le Tribunal correctionnel) a prononcé à l'encontre de X._ une condamnation à quatre ans de peine privative de liberté pour lésions corporelles graves, simples et simples qualifiées, voies de fait qualifiées, agression, utilisation frauduleuse d'un ordinateur, recel, injure et tentative de contrainte. Il était reproché à X._, d'avoir contribué, avec son père et son frère à instaurer un climat de peur dans la famille, frappant régulièrement ses soeurs. Par ailleurs, il avait agressé gratuitement, verbalement et physiquement, une dizaine de tiers entre janvier 2007 et août 2008. Alors qu'il vivait " à moitié " avec C._, il avait retiré frauduleusement une somme de 4'800 fr. au moyen de deux cartes bancaires volées par cette dernière. Vu la gravité des faits, la lourde peine prononcée a été jugée incompatible avec un sursis, même partiel. Cette condamnation a été confirmée le 8 janvier 2010 par la Cour de cassation pénale du Tribunal cantonal vaudois. Dans le cadre de cette procédure pénale, X._ a été soumis à une expertise psychiatrique. Dans ses conclusions de 2008, l'expert a notamment retenu que l'intéressé semblait incapable de s'adapter aux normes sociales de notre pays, bien qu'il soit arrivé en Suisse très jeune; il a relevé qu'il présentait une personnalité dyssociale, dont le traitement était extrêmement difficile voire impossible, les patients, souvent charmants, se montrant très manipulateurs; l'expert a qualifié le risque de récidive de grand. Le 9 avril 2010, le Tribunal correctionnel a condamné X._ à douze mois de privation de liberté pour brigandage, violence et menaces sur les autorités et fonctionnaires, lésions corporelles simples et injure, pour des actes commis de mai 2008 à mai 2009. Il a été retenu que X._, s'il n'évoluait pas, demeurerait un danger public qui ne connaît que la violence gratuite. Selon cet arrêt, il faudrait encore bien quelque temps à X._ pour évoluer et penser peut-être à mieux faire. Le recourant a eu un comportement en détention qualifié de " tout à fait adéquat ". Depuis le 3 décembre 2010, l'Office d'exécution des peines a autorisé X._ à poursuivre l'exécution de ses peines sous le régime de travail externe, puis, depuis le 9 août 2011, sous le régime de travail et de logement externes. B. Le 2 septembre 2010, le Département de l'intérieur du canton de Vaud (ci-après: le Département cantonal) a révoqué l'autorisation d'établissement de X._ et lui a imparti un délai pour quitter la Suisse dès qu'il aurait satisfait à la justice vaudoise. Par arrêt du 9 décembre 2011, la Cour de droit administratif et public du Tribunal cantonal vaudois a rejeté le recours de l'intéressé à l'encontre de la décision du 2 septembre 2010. C. A l'encontre de l'arrêt du 9 décembre 2011, X._ forme un recours en matière de droit public auprès du Tribunal fédéral en concluant à l'admission du recours, à l'annulation de l'arrêt attaqué et, principalement, au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants, subsidiairement à sa réforme en ce sens que son permis d'établissement est maintenu et qu'il n'est pas astreint à quitter le territoire suisse. Par ordonnance présidentielle du 20 janvier 2012, le Tribunal fédéral a admis la demande d'effet suspensif présentée par X._. Le Département cantonal, le Service de la population du canton de Vaud et le Tribunal cantonal ont renoncé à se déterminer, ce dernier se référant aux considérants de l'arrêt attaqué. L'Office fédéral des migrations propose le rejet du recours, en renvoyant aux décisions cantonales. 