Faits: A. A.a Par jugement du 20 juin 2007, le Tribunal correctionnel de La Broye et du Nord vaudois a condamné X._ pour dommages à la propriété et violence ou menace contre les autorités et les fonctionnaires à une peine privative de liberté de 7 mois, sous déduction de 225 jours de détention préventive. Se référant à un rapport d'expertise psychiatrique établi le 24 février 2006 et complété le 17 juillet 2006, le tribunal a suspendu l'exécution de la peine au profit d'une mesure thérapeutique institutionnelle au sens de l'art. 59 CP. X._ a été placé le 7 novembre 2008 aux Etablissements de la plaine de l'Orbe où il poursuit encore à ce jour l'exécution de la mesure ordonnée par le tribunal. A.b Le 20 juin 2008, le Juge d'application des peines a refusé la libération conditionnelle de X._. Il a considéré en bref qu'une libération conditionnelle était prématurée, qu'un encadrement structuré était encore indispensable à la progression du prénommé et à la consolidation de ses acquis, que le placement institutionnel ordonné était la seule mesure susceptible de favoriser sa bonne évolution et qu'elle devait se poursuivre. Le juge d'application des peines a derechef refusé la libération conditionnelle par jugements des 19 juin 2009 et 13 juillet 2010. Un recours interjeté par l'intéressé contre ce dernier jugement a été rejeté par arrêt rendu le 2 août 2010 par la Cour de cassation pénale du Tribunal cantonal qui a néanmoins précisé que la situation de l'intéressé devait être revue en tenant compte de son évolution dans le cadre de l'exécution de la mesure. A.c Le 17 octobre 2011, le Juge d'application des peines a une nouvelle fois refusé d'accorder à X._ sa libération conditionnelle de la mesure thérapeutique institutionnelle. B. Par arrêt du 2 novembre 2011, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours de X._ contre ce dernier jugement. C. X._ forme un recours en matière pénale contre l'arrêt cantonal, dont il réclame, à titre principal, la réforme en ce sens que la libération conditionnelle lui est accordée et, subsidiairement, l'annulation. Il sollicite par ailleurs l'assistance judiciaire. Il n'a pas été ordonné d'échange d'écritures. 