Faits: A. Par jugement du 27 juin 2008, le Tribunal criminel de l'arrondissement de l'Est vaudois a notamment condamné X._ pour meurtre et assassinat à la peine privative de liberté à vie. Il lui était reproché d'avoir tué sa mère, A._, et d'avoir assassiné sa s?ur, B._, ainsi que C._. Par arrêt du 29 octobre 2008, la Cour de cassation pénale du canton de Vaud a rejeté le recours de X._ contre ce jugement. X._ a formé un recours au Tribunal fédéral (réf. 6B_118/2009), recours dont l'instruction est actuellement suspendue. B. Par arrêt du 23 novembre 2009, la Chambre des révisions civiles et pénales du canton de Vaud a admis la demande de révision déposée par X._ et renvoyé la cause au Tribunal criminel de l'arrondissement de Lausanne pour nouvelle instruction et nouveau jugement. Suite à une nouvelle instruction complète de la cause, cette autorité a, par jugement du 18 mars 2010, notamment confirmé la condamnation de X._ pour meurtre et assassinat à la peine privative de liberté à vie. Par arrêt du 4 octobre 2010, la Cour de cassation pénale du canton de Vaud a rejeté le recours de X._ contre ce jugement. X._ a formé un recours en matière pénale contre le jugement du 18 mars 2010 et l'arrêt du 4 octobre suivant (réf. 6B_12/2011), recours actuellement pendant. C. Par jugement du 16 août 2011, la Cour d'appel pénale du canton de Vaud a rejeté, dans la mesure de sa recevabilité, la demande de révision formée par X._ le 22 juin 2011. En bref, cette autorité a estimé que les faits entourant les ciseaux invoqués à l'appui de la demande de révision (emplacement, traces s'y trouvant, etc.) n'étaient pas des éléments inconnus de l'autorité inférieure pouvant donner lieu à une révision au sens de l'art. 410 al. 1 let. a CPP. D. X._ forme un recours en matière pénale contre ce jugement. Il conclut à l'annulation de cette décision et au renvoi de la cause à l'autorité précédente pour qu'elle ordonne la révision demandée, subsidiairement pour qu'elle rende une nouvelle décision au sens des considérants. Il requiert également la récusation des juges ayant rendu antérieurement des décisions en sa défaveur. Aucun échange d'écritures n'a été ordonné. 