Faits: A. Par jugement du 29 janvier 2013, le Juge d'application des peines du canton de Vaud a refusé d'accorder à X._ la libération conditionnelle de la mesure thérapeutique institutionnelle ordonnée le 16 avril 2007 par la Cour de cassation pénale du Tribunal cantonal vaudois et a ordonné la prolongation de cette mesure pour cinq ans à compter du 16 avril 2012. B. Par arrêt du 4 mars 2013, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par X._ et confirmé le jugement de première instance. En substance, elle a retenu les faits suivants: B.a. Par jugement du 25 janvier 2007, le Tribunal correctionnel de l'arrondissement de La Broye et du Nord vaudois a condamné X._ à une peine privative de liberté de deux ans et demi, sous déduction de la détention avant jugement, pour tentative de contrainte sexuelle, tentative de viol et contravention à la loi fédérale sur les stupéfiants. La peine privative de liberté a été suspendue au profit d'un traitement institutionnel (art. 59 CP). En septembre 2007, X._ a été placé à l'Etablissement d'exécution des peines de Bellevue, à Gorgier, avec effet rétroactif au 4 juillet 2007. S'agissant des antécédents de X._, il convient de relever que ce dernier a commencé ses activités délictueuses à l'âge de douze ans et qu'il avait déjà été condamné en 2004, notamment pour tentative d'actes d'ordre sexuel avec un enfant, contrainte sexuelle, tentative de contrainte sexuelle et viol sur une fillette de dix ans, ainsi que sur une jeune femme de vingt-trois ans. B.b. X._ a fait l'objet de plusieurs expertises psychiatriques, le dernier rapport ayant été établi le 14 décembre 2010 par le Dr Y._. Cet expert a retenu les diagnostics suivants: trouble grave de la personnalité avec une composante dyssociale et un aspect dysharmonique tous deux marqués, trouble de la préférence sexuelle et retard mental léger. Il a qualifié le risque de récidive d'important et d'imminent, fondant son appréciation notamment sur les expériences antérieures qui avaient montré que l'intéressé pouvait récidiver très rapidement dès qu'il se trouvait livré à lui-même, ainsi que sur l'aspect " extrêmement ténu et discret " des changements " éventuellement intervenus " depuis la commission du dernier délit. Il a conclu qu'une libération conditionnelle représenterait une prise de risque importante, compte tenu du fait que X._ ne disposait pas des ressources nécessaires pour s'adapter de manière constructive dans un environnement qui n'était pas clairement structuré et que l'on devait dès lors craindre une évolution rapide vers un état de désinsertion sociale avec des comportements perturbés dans divers domaines (abus toxiques, conflits interpersonnels, réactions agressives, délinquance sexuelle, délits contre le patrimoine). B.c. Dans son rapport du 20 septembre 2011, la Direction de l'Etablissement d'exécution des peines de Bellevue a relevé que X._, qui était suivi depuis dix-huit mois par le psychologue de l'établissement, avait pu évoluer positivement sans que l'on puisse pour autant parler d'avancées significatives. Selon elle, cela nécessiterait un travail plus important et sur une bien plus longue période. Elle a précisé que les progrès étaient encore fragiles, le prénommé adoptant encore régulièrement des attitudes plutôt immatures. Elle a conclu que le condamné semblait avoir atteint les limites de ce qui pouvait lui être offert au sein de l'établissement et s'est prononcée en faveur de son transfert au sein d'un établissement sociothérapeutique, tout en sachant qu'il s'était récemment opposé à un projet d'admission à St-Jean, au Landeron. Elle a ajouté que X._ avait refusé de délier le thérapeute du secret médical, de peur que cela ne se retourne contre lui. Dans ses avis des 3 et 4 octobre 2011, la Commission interdisciplinaire consultative (ci-après: CIC) a constaté que les éléments psychopathologiques et criminologiques préoccupants relevés dans son précédent avis perduraient, en l'absence de tout processus de changement. Les différents intervenants relevaient que plusieurs permissions ou conduites s'étaient déroulées de manière satisfaisante et que le comportement de X._ en détention restait globalement adapté. Cela étant, compte tenu du rapport de la Direction de l'Etablissement pénitentaire de Bellevue, qui indiquait avoir atteint les limites de ce qui pouvait être offert au prénommé, la commission a préconisé qu'un nouvel aménagement du cursus pénitentiaire de X._ soit étudié, pouvant comporter un changement d'établissement, ainsi que l'élaboration d'un nouveau plan d'exécution de la sanction. Elle a vivement encouragé X._ à persévérer dans les soins dont il bénéficiait et a invité l'intéressé à accepter que des informations concernant sa prise en charge thérapeutique puissent lui être communiquées, afin d'être en mesure d'apprécier au mieux le chemin qu'il parvenait à parcourir. Le 16 décembre 2011, la Direction de l'Établissement d'exécution des peines de Bellevue a préavisé négativement à la libération conditionnelle, les progrès thérapeutiques restant fragiles et la poursuite d'un travail thérapeutique plus soutenu, sur une plus longue période et au sein d'une structure plus adaptée, étant nécessaire. Par courrier du 8 février 2012, le psychologue de X._ a relevé que le travail effectué jusqu'ici était positif et constructif, mais qu'il paraissait impératif qu'il se poursuive avec comme objectifs l'identification des situations à risque et le développement de stratégies adaptées de gestion des situations en question. Selon lui, ce travail serait effectivement essentiel et de loin pas achevé. B.d. Le 16 mars 2012, l'Office d'exécution des peines vaudois (ci-après: OEP) a saisi le Juge d'application des peines d'une proposition tendant au refus de la libération conditionnelle et à la prolongation de la mesure thérapeutique institutionnelle pour une durée de cinq ans, afin de constater les progrès de l'intéressé sur le long terme. C. Contre l'arrêt du 4 mars 2013, X._ dépose un recours en matière pénale devant le Tribunal fédéral. Dénonçant une violation de son droit d'être entendu et de l'art. 59 al. 4 CP, il conclut à l'annulation de l'arrêt attaqué et au renvoi du dossier à la cour cantonale pour nouvelle décision, après avoir ordonné une nouvelle expertise psychiatrique et entendu le témoignage de son frère. En outre, il sollicite l'assistance judiciaire. 