Faits: A. Par jugement du 24 janvier 2012, le Collège des juges d'application des peines du canton de Vaud a refusé d'accorder à X._ la libération conditionnelle de l'internement ordonné le 11 janvier 1996 par le Tribunal correctionnel du district de Lavaux. Dans ses considérants, il a déclaré qu'il n'y avait pas lieu de proposer de saisir le Tribunal correctionnel de l'arrondissement de l'Est vaudois en vue d'examiner si les conditions d'un traitement thérapeutique institutionnel étaient réunies. Il demandait à l'Office d'exécution des peines vaudois d'examiner les possibilités pratiques et légales de transfert de X._ dans une autre structure carcérale que celle des Établissements de la plaine de l'Orbe (ci-après : EPO), car l'intéressé refusait toute prise en charge thérapeutique au sein de ces établissements, mais déclarait qu'il accepterait de se soumettre à un traitement dans une autre structure. B. Par arrêt du 21 février 2012, la Chambre des recours pénale du Tribunal cantonal vaudois a admis partiellement le recours interjeté par X._ et constaté que le Collège des juges d'application des peines avait rendu sa décision avec un retard injustifié. Pour le surplus, elle a confirmé le jugement du 24 janvier 2012. Cet arrêt retient en substance les faits suivants : B.a X._, né le 18 février 1946, a été condamné le 11 janvier 1996 par le Tribunal correctionnel du district de Lavaux à une peine de réclusion de quatre ans, sous déduction de la détention préventive, pour lésions corporelles simples intentionnelles, abus de confiance, actes d'ordre sexuel avec des enfants et commis sur une personne incapable de discernement ou de résistance, au printemps 1990 et entre avril 1994 et février 1995. Cette peine a été suspendue au profit d'un internement au sens de l'art. 43 ch. 1 al. 2 aCP. Dans le cadre du réexamen des internements imposé par l'entrée en vigueur de la nouvelle partie générale du Code pénal le 1er janvier 2007, le Tribunal correctionnel d'arrondissement de l'Est vaudois a ordonné, par jugement du 15 août 2007, la poursuite de l'internement conformément au nouveau droit (art. 64 CP). La Cour de cassation pénale du Tribunal cantonal vaudois a confirmé ce jugement le 16 octobre 2007. B.b Entre le 20 janvier 1965 et le 21 février 1996, X._ a été condamné à dix reprises à des peines allant de deux semaines d'emprisonnement à quatre ans de réclusion, notamment pour attentat à la pudeur des enfants ou débauche contre nature, selon les qualifications de l'ancien droit. En outre, le 31 mars 2008, le procureur du canton de Zoug l'a condamné à une peine de quinze jours-amende pour possession d'images pornographiques comprenant des scènes de violence découvertes sur son ordinateur. B.c Au cours des diverses procédures, X._ a été soumis à sept expertises, à savoir en 1964, 1968, 1979, 1986, 1994, 2002 et 2009. Une nouvelle expertise a été ordonnée dans la présente procédure au Centre universitaire romand de médecine légale qui a rendu son rapport le 11 avril 2011. L'expert a préconisé le placement de l'expertisé dans une institution fermée, au sein de laquelle il pourrait bénéficier d'une prise en charge psychiatrique associant une psychothérapie, des mesures de réadaptation sociale et, si besoin, un traitement médicamenteux à type d'inhibiteur de la sexualité. S'agissant de l'accessibilité de X._ à un traitement, il a déclaré ce qui suit : « La prise en charge de l'expertisé lorsqu'il se trouvait au pénitencier de la Stampa permet de constater, comme cela avait déjà été le cas à propos de la prise en charge réalisée à la prison de Thorberg, que M. X._ n'est pas entièrement inaccessible à une thérapie. Son refus de toute prise en charge auprès du SMPP représente certes une expression particulière de son trouble de la personnalité. Cependant, le maintien du statu quo, conçu comme un bras de fer entre le SMPP et M. X._, n'est pas satisfaisante. En effet, d'une part, cette situation ne permet aucune évolution psychique de l'expertisé et aboutit à son maintien de durée indéterminée en mesure d'internement. D'autre part, cette confrontation indéfinie ne tiendrait pas compte du fait qu'elle est la résultante d'un trouble de la personnalité de l'expertisé et non de sa pleine volonté de ne pas évoluer et de rester indéfiniment en détention. » (expertise 2011, p. 8) B.d La Commission interdisciplinaire consultative concernant les délinquants nécessitant une prise en charge psychiatrique (ci-après : CIC) a constaté, dans son avis des 19 et 20 avril 2010, que le comportement de X._ était resté inchangé. Il avait confirmé sa dangerosité et ses capacités de manipulation et d'emprise nécessitant un nouveau transfert d'établissement. La Commission a dès lors préavisé négativement à toute ouverture de son régime de détention. B.e Dans son rapport du 1er juin 2010, la Direction des EPO a souligné l'emprise néfaste de X._ sur ses codétenus à qui il disait de ne pas faire confiance au Service de médecine et psychiatrie pénitentiaires (ci-après : SMPP), les encourageant à ne pas suivre leur thérapie. Elle a également relevé que l'intéressé n'avait montré aucun signe d'introspection. Estimant qu'il devenait trop dangereux pour ses codétenus, elle a décidé de le transférer au Pénitencier de la Stampa. Elle a émis un préavis négatif quant à l'octroi de la libération conditionnelle. C. Contre l'arrêt cantonal, X._ dépose un recours en matière pénale devant le Tribunal fédéral. Il conclut, principalement, à la réforme de l'arrêt attaqué en ce sens que la cause est renvoyée devant le Tribunal correctionnel de l'arrondissement de l'Est vaudois, afin que cette autorité examine si les conditions d'un traitement thérapeutique institutionnel sont réunies ; subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Le Ministère public vaudois conclut au rejet du recours. 