Faits: A. Par jugement du 13 mars 2007, le Juge de police de l'arrondissement de la Sarine a acquitté X._ du chef d'accusation de lésions corporelles graves par négligence et l'a condamné, en application des art. 34 al. 3 et 90 ch. 1 LCR, à une amende de 200 francs. B. Par arrêts des 29 janvier 2008, 1er octobre 2009 et 24 janvier 2012, les deux derniers faisant suite aux renvois de la cause à l'autorité cantonale par le Tribunal fédéral (arrêts 6B_205/2008 du 15 juillet 2008 et 6B_1021/2009 du 15 juin 2010), la Cour d'appel pénal du Tribunal cantonal fribourgeois a reconnu X._ coupable notamment de lésions corporelles graves par négligence. Dans sa dernière décision, la cour cantonale a condamné X._ à une peine pécuniaire de 10 jours-amende à 30 fr., avec sursis pendant un an et à une amende de 400 francs. En bref, il ressort les éléments suivants de l'arrêt du 24 janvier 2012. En septembre 2003, Y._ circulait au guidon de son scooter à A._, en direction de B._, avec le feu de croisement enclenché. Il était précédé d'une voiture, conduite par X._. X._, qui cherchait une place de stationnement, a vu une voiture, parquée sur la gauche de la chaussée, reculer et a pensé qu'elle allait libérer la place. Il a regardé dans ses rétroviseurs gauche et central. N'ayant rien aperçu, il a enclenché son indicateur de direction gauche, a ralenti et s'est mis en présélection au centre de la chaussée, le long de la ligne discontinue. Il a alors constaté que le véhicule ne quittait pas la place de parc qu'elle occupait, mais qu'une place était libre environ 10 m en amont. Après avoir regardé à nouveau dans son rétroviseur gauche, dans lequel il n'a rien vu, il s'est assuré qu'aucun véhicule ne venait en face et a obliqué à gauche en vue d'aller occuper la place libre. Une collision s'est alors produite avec le scooter de Y._, qui survenait sur la gauche du véhicule de X._. Sous l'effet du choc, Y._ a été projeté par-dessus la voiture et a été grièvement blessé, subissant notamment de graves lésions à la tête et au thorax. Selon une expertise du 13 décembre 2005, au moment du choc, Y._ circulait à une vitesse comprise entre 42 et 53 km/h et X._ à une vitesse se situant entre 12 et 22 km/h. S'agissant du point de choc, il a été constaté qu'il se situait à 20,5 m de l'endroit où X._ avait enclenché son indicateur de direction gauche et s'était mis en présélection. Il a également été constaté qu'aucune trace de freinage du scooter n'avait été relevée sur la chaussée. Selon un complément d'expertise du 17 mai 2011, la distance séparant les deux véhicules était de 21 m une seconde avant l'enclenchement de l'indicateur de direction par X._, de 17,5 m à l'instant de l'enclenchement et de 8 m au moment où il a obliqué à gauche. Ces distances ont été calculées en tenant compte d'une vitesse constante du scooter de 42 km/h, d'une vitesse initiale de la voiture de 30 km/h au moment où X._ a enclenché le clignotant et d'une décélération linéaire de ce véhicule jusqu'à la vitesse de collision de 12 km/h. L'expertise relève qu'il est possible que des variations de vitesse de l'un ou l'autre des véhicules aient eu lieu durant l'ensemble de la man?uvre, mais que cela ne pouvant être prouvé, il a été admis une vitesse constante du scooter et une diminution de vitesse linéaire de la voiture. C. X._ forme un recours en matière pénale contre cet arrêt. Il conclut, sous suite de frais et dépens, principalement, à sa réforme en ce sens qu'il est acquitté du chef d'accusation de lésions corporelles graves par négligence et, subsidiairement, à l'annulation de la décision attaquée et au renvoi de la cause à l'autorité inférieure pour nouvelle décision. Il n'a pas été ordonné d'échange d'écritures. 