Faits: A. Par jugement du 27 juin 2011, le Tribunal du 2ème arrondissement du district de Sion a condamné X._ pour tentative de meurtre, escroquerie, détournement de valeurs patrimoniales mises sous main de la justice, calomnie, violation de domicile et faux dans les titres à une peine privative de liberté de 30 mois, sous déduction de la détention avant jugement, peine partiellement complémentaire à celles prononcées les 6 juillet 2005 par le Tribunal de districts de Martigny et St-Maurice et 20 novembre 2007 par le Tribunal correctionnel de l'arrondissement de Lausanne. Il a en outre révoqué le sursis octroyé par le jugement du 20 novembre 2007 à la peine de 9 mois d'emprisonnement. B. Saisie d'un appel de X._, la Cour pénale du Tribunal cantonal du Valais a partiellement réformé le jugement entrepris, en ce sens qu'elle a jugé que le sursis à l'exécution de la peine de 9 mois d'emprisonnement n'était pas révoqué, et l'a confirmé pour le surplus. S'agissant de la tentative de meurtre, la Cour pénale s'est fondée en substance sur les éléments de fait suivants. A la fin de l'année 2008, X._ et A.Y._ ont entrepris des pourparlers contractuels qui portaient sur la vente notamment de matériaux d'isolation et de rouleaux de bitume. Les parties ont convenu d'un prix de vente de 5'250 francs. A.Y._, après avoir acheté ces matériaux à X._, entendait les vendre à un certain C._. Le 7 janvier 2009, X._ s'est entretenu avec celui-ci, qui lui a déclaré que le prix de vente arrêté avec A.Y._ était de 7'500 francs. Le 8 janvier 2009, X._ a eu deux entretiens téléphoniques avec A.Y._ qui portaient notamment sur le paiement du prix de la vente précitée. Les intéressés se sont rencontrés vers 15h30 sur un parking, à Sion. A.Y._ a pris place dans le véhicule de X._. Celui-ci a démarré avant de s'arrêter quelques mètres plus loin. A.Y._ a saisi cette opportunité pour quitter l'habitacle. Il a déposé le montant de 5'000 francs sur le siège qu'il occupait. Un montant de 250 francs restait impayé. X._, armé d'un couteau dissimulé sous sa veste, est sorti du véhicule et a rejoint A.Y._. Il a réclamé le paiement du solde dû, sans succès. Il s'est alors précipité sur A.Y._, qui se retournait pour prendre la fuite, et lui a porté un coup de couteau à la hauteur du cou. Il est ensuite parti avec son véhicule après que A.Y._ a cherché à l'en empêcher en criant à l'aide. Ce dernier a été conduit en ambulance au service des urgences de l'hôpital de Sion. C. X._ interjette un recours en matière pénale au Tribunal fédéral. Il conclut à l'annulation du jugement attaqué, à ce qu'il soit uniquement condamné pour calomnie, détournement de valeurs patrimoniales mises sous main de justice et violation de domicile avec sursis complet et à ce que sa peine soit atténuée. Il requiert l'effet suspensif. Il sollicite l'assistance judiciaire. 