Faits: A. Par jugement du 11 novembre 2011, le Tribunal de police de l'arrondissement de la Côte a condamné X._ pour escroquerie à une peine de 270 jours-amende, à 20 fr. le jour avec sursis et délai d'épreuve de 3 ans. Il a également donné acte de ses réserves civiles à A._ SA et condamné le recourant à verser à cette société une indemnité pour ses dépens. B. Par jugement du 20 juin 2012, dont les considérants complets ont été notifiés le 25 septembre suivant, la Cour d'appel pénale du Tribunal cantonal vaudois, notamment composée du juge B._, a admis l'appel de X._, réformé le jugement du 11 novembre 2011 en ce sens que X._ est condamné pour escroquerie à une peine de 150 jours-amende, à 20 fr. le jour avec sursis et délai d'épreuve de 2 ans, et qu'il est pris acte de la transaction intervenue entre X._ et A._ SA prévoyant une reconnaissance de dette de celui-là en faveur de celle-là et un retrait par A._ SA de sa plainte et de son appel contre le jugement du 11 novembre 2011. C. Par jugement du 24 juillet 2012, notifié le 16 août suivant, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté la requête de récusation de X._ à l'encontre du juge B._. D. Le 26 octobre 2012, X._ a déposé un recours en matière pénale auprès du Tribunal fédéral. Il conclut à l'annulation du jugement du 24 juillet 2012 et au renvoi de la cause à l'autorité précédente. Subsidiairement, il requiert la réforme du jugement du 20 juin 2012 en ce sens qu'il est acquitté, qu'il lui est donné acte de ses prétentions civiles contre A._ SA et qu'il reçoit une indemnité fondée sur l'art. 429 al. 1 let. a CPP. Plus subsidiairement encore, il conclut à l'annulation du jugement rendu le 20 juin 2012 et au renvoi de la cause à l'autorité cantonale pour nouvelle décision. Il sollicite le bénéfice de l'assistance judiciaire. Aucun échange d'écriture n'a été ordonné. 