Faits: A. X._, ressortissant togolais né le *** 1971, a déposé une première demande d'asile en Suisse le 1er juin 2001. Cette demande a été rejetée par décision du 27 août 2001 de l'Office fédéral des réfugiés, actuellement l'Office fédéral des migrations (ci-après: l'ODM), et son renvoi de Suisse a été ordonné. Le refus de l'Office fédéral des réfugiés du 27 août 2001 a été confirmé le 4 mars 2002 par la Commission suisse de recours en matière d'asile. Une première demande de reconsidération formée par X._ a été définitivement rejetée par la Commission suisse de recours en matière d'asile le 11 octobre 2002. Une deuxième demande de reconsidération du 22 octobre 2002 a été déclarée irrecevable le 28 octobre 2002. Le Service de la population de la ville de B._ a annoncé le 26 novembre 2002 le départ de X._ pour une destination inconnue dès le 1er novembre 2002. Le 27 avril 2003, X._ a déposé une deuxième demande d'asile en Suisse et a derechef été débouté. Les autorités du canton du Valais - auquel il avait été attribué - l'ont considéré comme disparu dès le 11 décembre 2003. Le 16 février 2004, à Lausanne, X._ a épousé la ressortissante suisse A._, née le *** 1966, mère de quatre enfants mineurs. X._ a pris un domicile séparé dès le 31 août 2005. En raison de son mariage, X._ a été mis au bénéfice d'une première autorisation de séjour et de travail, valable jusqu'au 15 février 2005, qui a été renouvelée par la suite, jusqu'au 20 octobre 2010. X._ a sollicité la délivrance d'un permis d'établissement le 9 janvier 2009, puis le 14 octobre 2010. B. Par décision du 26 mai 2011, le Service cantonal de la population du canton de Vaud (ci-après: le Service cantonal) a refusé la prolongation de l'autorisation de séjour de X._ et prononcé son renvoi. Un délai de trois mois, non prolongeable, lui a été imparti pour quitter la Suisse. Par acte du 27 juin 2011, X._ a saisi la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) d'un recours dirigé contre la décision du Service cantonal précitée, rejeté par arrêt du 29 novembre 2011. C. Par acte du du 16 janvier 2012, X._ a formé un recours en matière de droit public et un recours constitutionnel subsidiaire auprès du Tribunal fédéral contre l'arrêt du Tribunal cantonal du 29 novembre 2011. Il a requis la suspension de la procédure jusqu'à droit jugé sur sa demande d'octroi anticipé d'une autorisation d'établissement. Agissant par la voie du recours en matière de droit public et du recours constitutionnel subsidiaire, il demande, sous suite de frais et dépens, principalement la réformation de l'arrêt attaqué en ce sens que la prolongation du séjour est accordée, subsidiairement l'annulation de cette décision. A l'appui de son recours, il invoque les art. 42, 49 et 50 LEtr, la violation du principe de la bonne foi et l'interdiction de l'arbitraire (art. 5 al. 3 et 9 Cst.), ainsi que l'art. 8 CEDH. Par ordonnance du 18 janvier 2012, le Président de la IIe Cour de droit public a rejeté la requête de suspension de la procédure de recours jusqu'à droit connu sur la décision de l'ODM relative à l'octroi anticipé d'une autorisation d'établissement. Invités à se prononcer, le Service cantonal a renoncé à se déterminer, tandis que le Tribunal cantonal et l'ODM ont conclu au rejet du recours. 