Faits: A. X._ s'est présenté à la session de novembre 2010 organisée par la commission d'examens des avocats du canton de Genève (ci-après : la commission d'examens). Le 7 décembre 2010, cette dernière lui a signifié qu'il avait échoué: obtenant un total de 17.50 points, il n'atteignait pas la moyenne requise de 20.00. S'agissant de sa troisième tentative, cet échec était définitif. Une séance de correction collective était organisée le 17 décembre 2010. X._ a recouru contre cette décision auprès de la chambre administrative de la Cour de justice du canton de Genève (ci-après: la Cour de justice) dans la cause A/88/2011. Il contestait aussi bien le résultat de l'examen écrit que celui des deux épreuves orales de la session de novembre 2010, dénonçant l'absence de motivation de la décision attaquée. Il soutenait également que la commission d'examens des avocats était irrégulièrement composée lorsqu'elle avait siégé en séance plénière le 7 décembre 2012. Il faisait encore valoir des problèmes de santé pour les sessions précédentes. Le 28 février 2011, la commission d'examens a répondu au recours en concluant a son rejet. Elle a versé en cause, au cours de la procédure, le corrigé de l'épreuve écrite, repris pour l'essentiel dans sa réponse à la Cour de justice, et les corrigés succincts des épreuves orales. Ceux-ci reflétaient les éléments essentiels de réponse attendus et le système de notation des épreuves. Ils étaient établis avant les examens et constituaient un fil conducteur pour les examinateurs. Ces documents ont été transmis au recourant, qui s'est déterminé à leur sujet. Par arrêt du 26 juillet 2011, la Cour de justice a admis le recours et annulé la décision attaquée. Elle a en effet considéré que la commission d'examens était irrégulièrement composée lors de la délibération sur l'examen final, du fait de l'absence des enseignants responsables des épreuves intermédiaires, lesquels ont une voix délibérative. B. Invité à se déterminer sur la nouvelle décision à prendre, X._ a écrit à la commission d'examens le 30 septembre 2011. Il demandait la récusation de l'un des avocats membre de la commission. Ce dernier, qui défendait les intérêts de l'un des inculpés dans le cadre d'une procédure pénale tierce, avait demandé l'inculpation de M. X._ père, entendu dans le cadre de ladite procédure pénale, et se serait comporté à son égard de manière hostile et véhémente. Ces circonstances laissaient planer un doute sur son impartialité en sa qualité de membre de la commission d'examens. X._ reprenait, pour le surplus, ses précédents arguments en les développant. La commission d'examens a rendu une nouvelle décision le 21 octobre 2011. Elle a maintenu les notes attribuées par décision du 7 décembre 2010. Mme A._ et M. B._, examinateurs de l'épreuve orale du 15 novembre 2010, n'étant plus membres de la commission d'examens, copie de leur détermination avait été communiquée à tous les membres siégeant lors de sa délibération du 4 octobre 2011. Aucun motif valable de récusation au sens de l'art. 12 de la loi sur la procédure administrative du 12 septembre 1985 (LPA - E 5 10) n'existait à l'encontre de Me E._. Elle se référait, pour le reste et en tant que de besoin, à ses courriers des 28 février, 5 avril et 31 mai 2011. Après délibération, la commission d'examens a maintenu les notes attribuées et confirmé la décision d'échec à l'examen final du brevet d'avocat. C. X._ a recouru contre cette décision auprès de la Cour de justice le 24 novembre 2011, en concluant principalement à son annulation. La Cour de justice a rejeté ce recours le 28 février 2012. D. X._ forme un recours constitutionnel subsidiaire contre les arrêts du 26 juillet 2011 et du 28 février 2012 de la Cour de justice. Il conclut à leur annulation et au renvoi de la cause à la Cour de justice pour nouvelle décision au sens des considérants. Il requiert le bénéfice de l'assistance judiciaire. La Cour de justice a renoncé à formuler des observations sur le recours tandis que la commission d'examens des avocats s'est déterminée tardivement. 