Faits: A. A.a Par jugement du 14 août 2003, le Tribunal correctionnel de l'arrondissement de Lausanne a notamment condamné X._ pour vol, tentative de vol, crime manqué de vol, dommages à la propriété, utilisation frauduleuse d'un ordinateur, menaces, violation de domicile et contravention à la loi fédérale sur les stupéfiants à quatorze mois d'emprisonnement ferme, sous déduction de 385 jours de détention préventive, révoqué les sursis dont étaient assorties diverses peines, d'un total de neuf mois et trois jours d'emprisonnement après déduction de vingt-sept jours de détention préventive, prononcées antérieurement contre X._ pour des infractions de même nature et suspendu l'exécution de l'ensemble de ces peines au profit d'un internement au sens de l'art. 43 ch. 1 al. 2 aCP. Les infractions commises sont toutes liées à la toxicomanie du condamné, les unes parce qu'il les a commises sous l'emprise de stupéfiants, les autres parce qu'il les a perpétrées dans le but de financer sa consommation. À l'époque, les experts psychiatres ont diagnostiqué une schizophrénie paranoïde continue ainsi qu'une dépendance à des substances psycho-actives. A.b Après avoir reçu dans un premier temps des soins psychiatriques en milieu pénitentiaire, l'Office d'exécution des peines (OEP) a ordonné le placement de X._ dès le 20 novembre 2007 à l'EMS Y._, où il réside toujours actuellement. Dans le cadre du réexamen de la mesure (art. 2 al. 2 des dispositions finales de la modification de la partie générale du CP), par jugement du 26 novembre 2007, le Tribunal correctionnel de l'arrondissement de Lausanne a ordonné le placement institutionnel de l'intéressé en application de l'art. 59 CP, en lieu et place de l'internement ordonné précédemment (supra, let. A.a). B. B.a Par jugement du 12 juin 2009, le juge d'application des peines a refusé la libération conditionnelle à X._. Par arrêt du 3 juillet 2009, la Cour de cassation pénale du Tribunal cantonal du canton de Vaud a confirmé ce refus. B.b Le 19 novembre 2009, le Tribunal fédéral a admis le recours formé par X._ et a renvoyé la cause à l'autorité cantonale pour nouveau jugement. En bref, la Cour de céans a considéré que, si l'intéressé présentait certes un risque de récidive relativement élevé s'agissant de sa consommation de stupéfiants, ni les rapports des médecins traitants, ni l'arrêt attaqué, ne donnaient de précisions sur la nature des actes qu'il pourrait commettre sous l'effet de la consommation de drogue. En particulier, ils ne permettaient pas de déterminer s'il était à prévoir que le recourant recommencerait rapidement à perpétrer des crimes et délits contre le patrimoine, voire des actes susceptibles de mettre en danger des personnes ou si, au contraire, il était à prévoir que la réintégration du recourant en milieu institutionnel pourrait au besoin être ordonnée avant que la situation n'évolue jusque-là. Or, s'il apparaissait que cette dernière hypothèse correspondait à ce qui était raisonnablement prévisible, il y aurait alors lieu, compte tenu de la durée de la privation de liberté que le recourant avait déjà subie, de donner à celui-ci la possibilité de faire ses preuves en liberté en lui accordant, éventuellement pour prendre effet après un temps de préparation adapté, une liberté conditionnelle assortie de l'obligation de suivre un traitement ambulatoire, de règles de conduite et d'assistance de probation (arrêt 6B_714/2009 du 19 novembre 2009 consid. 1.4). B.c Par arrêt du 18 décembre 2009, la Cour de cassation pénale du Tribunal cantonal a admis le recours interjeté par X._, annulé le jugement du 12 juin 2009 et renvoyé la cause au premier juge pour nouveau jugement. B.d A la suite de la décision précitée, le juge d'application des peines a ordonné une expertise psychiatrique de X._ à laquelle il a dû mettre fin par décision du 23 septembre 2010 en raison de l'obstruction de ce dernier. X._ a également refusé de délier les médecins de leur secret médical. B.e Par jugement du 29 mars 2011, le juge a accordé à l'intéressé une sortie mensuelle non accompagnée d'une durée de 48 heures pour se rendre chez sa s?ur en Valais et a suspendu la procédure en cours afin de lui offrir l'occasion de faire ses preuves dans le cadre de déplacements non accompagnés avant d'envisager de le mettre éventuellement au bénéfice de la libération conditionnelle. Lors de sa première sortie, le 16 mai 2011, l'intéressé a consommé des stupéfiants. Il a récidivé le 17 août 2011 en prenant de la cocaïne. L'OEP a suspendu les sorties par décision confirmée du 26 septembre 2011. Une procédure de recours est pendante contre cette décision. C. Par nouveau jugement du 3 novembre 2011, le juge d'application des peines a refusé d'accorder à X._ le bénéfice de la libération conditionnelle de la mesure thérapeutique institutionnelle ordonnée le 14 août 2003. Le 14 novembre 2011, la Chambre des recours pénale a rejeté l'appel formé par X._ contre ce jugement. D. X._ a déposé un recours au Tribunal fédéral contre cet arrêt par lettre du 22 novembre 2011, qu'il a complétée par un nouvel envoi le 5 décembre 2011. Il conclut à son annulation et à sa libération, subsidiairement à ce qu'on ordonne un traitement ambulatoire. Il n'a pas été requis de déterminations. Il sollicite en outre l'assistance judiciaire. 