Faits: A. Par jugement du 7 octobre 2010, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a libéré X._ de l'accusation de calomnie subsidiairement de diffamation, donné acte à Y._ de ses réserves civiles à l'encontre de X._ et laissé les frais de la cause à la charge de l'Etat. B. Saisie d'un recours de la plaignante et partie civile, la Cour de cassation pénale du Tribunal cantonal vaudois l'a admis partiellement, réformant le jugement en ce sens que X._ s'était rendu coupable de diffamation, la peine à prononcer étant absorbée par celle prononcée le 6 juillet 2007 par le Tribunal correctionnel de l'arrondissement de l'Est vaudois. En bref, il ressort de cet arrêt et du jugement de première instance auquel il renvoie, que Y._ a été secrétaire du mouvement « Appel au peuple », présidé jusqu'au mois de septembre 2010 par X._. Les deux intéressés ont été co-accusés lors d'un procès qui s'est tenu au mois de novembre 2006 à Lausanne. Y._ avait été la première à prendre conscience, au sein de l'association, que les dysfonctionnements de l'appareil judiciaire n'étaient pas aussi nombreux que ceux dénoncés par son président, qui poursuivait une stratégie de dénigrement systématique pour parvenir à ses fins. La cour cantonale a considéré qu'aux yeux d'un destinataire non prévenu les termes « témoin bidon » ayant piégé le juge lausannois, et de témoin qui déverse son « fiel », utilisés par X._ pour qualifier Y._ dans un écrit communiqué à la Commission des pétitions du Grand Conseil vaudois au mois de février 2007, faisaient apparaître l'intéressée comme une personne malhonnête et méchante qui n'hésitait pas à faire de fausses déclarations en justice. La véracité de ces propos n'était pas démontrée et le recourant n'avait apporté aucun élément permettant d'admettre qu'il avait agi en croyant à ce qu'il disait après avoir vérifié la réalité de ses dires. C. X._ forme un recours en matière pénale contre cet arrêt, concluant principalement à sa réforme dans le sens de son acquittement et, à titre subsidiaire, à son annulation et au renvoi de la cause à la cour cantonale pour nouvelle décision au sens des considérants. Il requiert en outre le bénéfice de l'assistance judiciaire et que son recours soit, comme dans le dossier 6B_819/2010 le concernant, traité par des juges de la 2e Cour de droit des assurances sociales. Il n'a pas été ordonné d'échange d'écritures. 