Faits: A. Ressortissant kosovar né en 1981, X._ est entré en Suisse le 6 juin 1999. Sa demande d'asile rejetée, il a quitté le pays le 14 juillet 2000. Revenu le 16 juillet 2003, il a déposé une seconde demande d'asile, qui a fait l'objet d'une décision de non-entrée en matière, de sorte qu'il a à nouveau dû quitter la Suisse. Il a toutefois été interpellé par la police le 7 janvier 2004 et a déclaré à cette occasion qu'il était revenu illégalement en Suisse en décembre 2003. Un délai au 11 mars 2004 lui a alors été imparti pour quitter le pays. Le 17 février 2004, l'Office fédéral de l'immigration, de l'intégration et de l'émigration - devenu entre-temps l'Office fédéral des migrations - a prononcé à son endroit une décision d'interdiction d'entrée en Suisse valable jusqu'au 16 février 2006. Le recours interjeté par X._ contre cette décision a été rejeté le 23 juin 2005. Dans l'intervalle, à savoir le 18 mai 2004, X._ a été condamné à deux amendes de respectivement 670 et 1'030 fr. pour contraventions à la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 1 113 et les modifications ultérieures; en vigueur jusqu'au 31 décembre 2007). Le 5 février 2005, X._ a à nouveau été interpellé lors d'un contrôle sur un chantier à A._. Il a ainsi été constaté qu'il séjournait et exerçait une activité lucrative sans autorisations. Le 2 mars 2005, le Service de la population du canton de Vaud lui a imparti un délai au 10 mars 2005 pour quitter la Suisse. Par courrier du 9 mars 2005, X._ a requis le Service de la population de lui octroyer une autorisation, ou du moins de tolérer son séjour, afin qu'il puisse poursuivre son traitement médical. A l'appui de sa demande, il a produit une attestation datée de la veille du Dr Y._ du Centre médical B._, à Lausanne, selon laquelle il souffrait, à la suite d'un traumatisme professionnel, d'une hernie discale L5-S1 et était en arrêt de travail presque sans interruption depuis le mois d'août 2004. Le Service de la population s'est renseigné sur les possibilités de traitement de l'intéressé au Kosovo. Sur le vu d'une attestation établie le 31 mars 2005 par le Dr Z._, médecin de confiance du Bureau de liaison suisse au Kosovo, il a confirmé la teneur de son courrier du 2 mars 2005. X._ a été refoulé au Kosovo le 29 juillet 2005. Par décision du 15 septembre 2005, l'Office fédéral des migrations a prolongé au 14 septembre 2008 l'interdiction d'entrée en Suisse du prénommé. Le 11 avril 2006, X._ a à nouveau été interpellé lors d'un contrôle sur un chantier à C._. Il a déclaré être revenu en Suisse une semaine auparavant. Le 13 avril 2006, X._ a requis le Service de la population de lui délivrer une autorisation de séjour, au motif qu'il avait été victime d'un nouvel accident de travail en Suisse. Il a joint une attestation médicale du Dr Y._. Par décision du 23 juin 2006, le Service de la population a refusé d'octroyer à X._ l'autorisation de séjour sollicitée et lui a enjoint de quitter la Suisse sans délai. Le 12 février 2009, X._ a épousé D._, ressortissante suisse. A la suite de cette union, il a été mis au bénéfice d'une autorisation de séjour par regroupement familial. Le 3 juin 2010, le Service de la population a été informé par le Service du contrôle des habitants de Lausanne de ce que les époux X._ étaient séparés depuis le 15 janvier 2010. Entendu par la Police municipale de Lausanne, X._ a déclaré qu'il ne vivait plus avec son épouse depuis le mois de février 2010. De son côté, l'épouse a déclaré être séparée de lui depuis le mois de décembre 2009 et ne pas avoir subi de violences conjugales. Après lui avoir donné la possibilité de se déterminer, le Service de la population a, par décision du 19 avril 2011, révoqué l'autorisation de séjour de X._. B. A l'encontre de cette décision, X._ a recouru à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal). Il a produit un rapport médical établi par le Dr E._ le 8 août 2011. Par arrêt du 21 octobre 2011, le Tribunal cantonal a rejeté le recours. Il a considéré en particulier que les problèmes d'ordre médical invoqués par X._ ne sauraient constituer des raisons personnelles majeures au sens de l'art. 50 al. 1 let. b de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20). C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 21 octobre 2011 et, principalement, de dire que son autorisation de séjour n'est pas révoquée, subsidiairement, de renvoyer la cause au Tribunal cantonal et, plus subsidiairement, au Service de la population, afin qu'il dise ce qui précède. A titre préalable, il demande que son recours soit doté de l'effet suspensif. Il n'a pas été requis de déterminations. 