Faits: A. Le 8 juillet 2005, vers 22 h 00, X._ s'est rendu devant la fabrique où travaillait son épouse, dont il vivait séparé, pour l'y rencontrer. Cette dernière est toutefois montée directement dans la voiture de Y._. X._ a tenté de discuter avec ce dernier, qui a démarré. X._ a chuté et s'est gravement blessé. Une invalidité de 40% lui a été reconnue avec effet au 1er juillet 2006. Par jugement du 9 juin 2009, la Juge de police de l'arrondissement de la Gruyère a acquitté Y._ de l'accusation de lésions corporelles simples, de lésions corporelles graves par négligence et de violation des devoirs en cas d'accident. Ce jugement faisait suite à une première décision du 13 novembre 2007 du Juge de police de l'arrondissement de la Gruyère condamnant Y._, jugement toutefois annulé par arrêt du 12 décembre 2008 de la Cour d'appel pénal du canton de Fribourg. En bref, la Juge de police de l'arrondissement de la Gruyère a relevé les nombreuses divergences existant entre les versions de la victime et de Y._. Elle a dès lors estimé qu'elle ne pouvait se forger une intime conviction sur le déroulement des faits et notamment sur la question de savoir si Y._ avait ou non bousculé X._ avec son véhicule, ce qui l'aurait déséquilibré et fait chuter. Y._ devait dès lors être acquitté au bénéfice du doute. B. Par arrêt du 17 novembre 2010, la Cour d'appel pénal du canton de Fribourg a rejeté le recours interjeté par X._. C. Ce dernier forme un recours auprès du Tribunal fédéral. Il conclut notamment à la condamnation de Y._ pour lésions corporelles graves par négligence et violation des devoirs en cas d'accident et à l'adjudication de l'action civile dans son principe. Subsidiairement, il requiert l'annulation de l'arrêt du 17 novembre 2010 et le renvoi de la cause pour nouvelle décision. Il n'a pas été ordonné d'échange d'écritures. 