Faits: A. Par jugement du 16 novembre 2011, le Tribunal de police de l'arrondissement de Lausanne a condamné X._ pour infraction à la loi fédérale du 26 décembre 2005 sur les étrangers (LEtr; RS 142.20) à soixante jours de privation de liberté. B. Par jugement du 20 février 2012, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par X._ et a confirmé le jugement de première instance. En bref, la condamnation repose sur les faits suivants: A la suite de faits survenus en 2002, X._ a été condamné le 6 avril 2004 par la Cour de cassation pénale du Tribunal cantonal vaudois pour diverses infractions, parmi lesquelles délit manqué de meurtre, menaces, infractions à la loi fédérale du 20 juin 1997 sur les armes, les accessoires d'armes et les munitions (Loi sur les armes, LArm; RS 514.54) et infraction à l'ancienne loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LFSEE; abrogée par la LEtr entrée en vigueur le 1er janvier 2008) à neuf ans de réclusion, 300 francs d'amende et à douze ans d'expulsion du territoire suisse. A cette époque, outre l'expulsion judiciaire désormais abolie, il avait été frappé d'une interdiction d'entrée en Suisse pour une durée indéterminée. Après 8 ans de prison, il a été expulsé de Suisse le 5 juillet 2010 et renvoyé par avion à Pristina. X._ est resté au Kosovo durant trois semaines jusqu'au début du mois d'août 2010. Durant cette période, il a refait son passeport et a changé officiellement d'identité, reprenant le nom de son père. En août 2010, il est revenu en Suisse par voiture, via la France, au mépris de l'interdiction d'entrée dont il faisait l'objet. Dès cette période et jusqu'au 22 novembre 2010, date de son interpellation, il a séjourné dans notre pays, d'abord chez un parent, puis chez son amie, qu'il a connue en 2008 lors de sa période de semi-liberté. C. Contre ce dernier jugement, X._ dépose un recours en matière pénale devant le Tribunal fédéral. Il conclut principalement à sa réforme en ce sens qu'il est condamné à un travail d'intérêt général ou à une peine de jours-amende dont la quotité doit être fixée, la sanction devant être assortie d'un sursis d'une durée de deux ans. Subsidiairement, il conclut au renvoi de la cause. Il n'a pas été ordonné d'échange d'écritures. 