Faits: A. Ressortissant kosovar né en 1965, X._ est entré en Suisse le 31 décembre 1990. Il y a résidé et travaillé illégalement jusqu'à son mariage, le 17 janvier 1997, avec une ressortissante suisse. Il s'est alors vu octroyer une autorisation de séjour et de travail qui a été régulièrement renouvelée. Le 5 février 2002, il a obtenu une autorisation d'établissement. Le divorce de X._ a été prononcé le 16 juillet 2002. A la suite de la demande d'entrée en Suisse de sa nouvelle épouse et de leur fils, ressortissants du Kosovo, le Service de la population a, par décision du 23 septembre 2004, révoqué l'autorisation d'établissement de X._ et refusé la délivrance d'une autorisation d'entrée en Suisse ainsi que de séjour au titre du regroupement familial à sa nouvelle famille. Le recours interjeté par X._ contre la décision du Service de la population a été rejeté en dernière instance par le Tribunal fédéral par arrêt du 2 septembre 2005 (arrêt 2A.455/2005). Il a été retenu en bref que X._ avait commis un abus de droit manifeste et dissimulé aux autorités des faits essentiels, ce qui justifiait la révocation de l'autorisation d'établissement. Par décision du 22 avril 2006, le Service de la population a déclaré irrecevable la demande de X._ tendant à l'octroi d'une autorisation de séjour hors contingent, traitée comme une demande de réexamen de la décision du 23 septembre 2004. Cette décision a été confirmée en dernière instance par le Tribunal fédéral par arrêt du 13 septembre 2006 (arrêt 2P.213/2006). Il a été retenu que les circonstances déterminantes ne s'étaient pas modifiées de manière notable - au point de justifier une demande de réexamen - depuis l'arrêt du Tribunal fédéral du 2 septembre 2005, X._ ne pouvant déduire de la durée de son séjour ainsi que de sa prétendue intégration socioprofessionnelle un droit à une autorisation de séjour. Le 27 novembre 2008, X._ a de nouveau sollicité le réexamen de son dossier. Cette demande a été déclarée irrecevable par décision du Service de la population du 23 décembre 2008, confirmée par arrêt de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après le Tribunal cantonal) du 11 février 2009, pour défaut de faits nouveaux. B. Le 30 juin 2011, X._ a sollicité encore une fois le réexamen de la décision du Service de la population du 23 septembre 2004, invoquant à titre d'éléments nouveaux sa bonne intégration socioprofessionnelle en Suisse. Le 8 septembre 2011, le Service de la population a déclaré la demande de reconsidération irrecevable, subsidiairement l'a rejetée. Par arrêt du 3 novembre 2011, le Tribunal cantonal a rejeté le recours interjeté par X._ contre la décision du Service de la population du 8 septembre 2011. C. Par acte du 8 décembre 2011, X._ recourt au Tribunal fédéral contre l'arrêt du Tribunal cantonal précité. Il conclut à l'annulation de l'arrêt du 3 novembre 2011 et à ce que le Service de la population soit astreint à réexaminer son cas. Les instances cantonales ont été invitées à produire leurs dossiers sans échange d'écritures. 