Faits: A. Par jugement du 19 septembre 2006 du Tribunal correctionnel de l'arrondissement de La Broye et du Nord vaudois, X._ a été condamné à un an d'emprisonnement, sous déduction de nonante-six jours de détention préventive, pour incendie intentionnel et contravention à la loi fédérale sur les stupéfiants. L'exécution de cette peine a été suspendue au profit d'une mesure thérapeutique institutionnelle sous la forme d'un traitement des troubles mentaux au sens de l'art. 43 aCP. B. X._ a d'abord séjourné dans un établissement médico-social jusqu'au 30 avril 2007. Puis, afin de lui offrir un encadrement plus ciblé sur la problématique de sa toxicomanie, l'Office d'exécution des peines (ci-après: OEP) a ordonné son placement judiciaire au sein de la Fondation du C._, par décision du 4 mai 2007. X._ a fugué de cet établissement les 1er, 18 et 24 mai 2007, et, lors de sa dernière fugue, a pénétré par effraction dans une imprimerie pour y dérober notamment un ordinateur et différentes cartes de crédit. En outre, il a proféré des menaces du type "Il est temps que je remplisse ma mission, je dois nettoyer ce monde", tout en ajoutant qu'il savait où trouver les armes pour ce faire. Vu ce comportement, la Fondation du C._ a écrit le 25 mai 2007 à l'OEP qu'elle ne pouvait plus garder X._ dans son établissement. Dans une lettre du 25 mai 2007, le chef de clinique et le médecin chef du Centre hospitalier universitaire vaudois déclaraient que le cadre du C._ était insuffisant, que X._ ne présentait pas de décompensation psychiatrique ou de troubles psychiques permettant une prise en charge en milieu hospitalier psychiatrique; les praticiens soulignaient qu'ils étaient très inquiets devant l'aggravation des comportements de X._ et le risque d'escalade que ceux-ci pouvaient impliquer. Le 25 mai 2007, l'OEP a ordonné le placement de X._ aux Etablissements de la plaine de l'Orbe, compte tenu du risque de fuite et de récidive qu'il présentait. C. Dans le cadre de l'examen annuel de la libération conditionnelle, la Commission interdisciplinaire consultative concernant les délinquants nécessitant une prise en charge psychiatrique (ci-après: CIC) a constaté, dans un avis du 6 janvier 2009, que les troubles pathologiques importants et persistants que présentait X._ étaient pris en charge de manière adaptée et utile par son séjour à l'Unité psychiatrique des Etablissements de la plaine de l'Orbe. Selon la Commission, le processus thérapeutique en cours correspondait à une phase d'amélioration et de maturation significative dans le parcours personnel de l'intéressé et s'avérait donc actuellement être l'objectif prioritaire. Au vu de la persistance de la fragilité psychologique et comportementale de X._, de son instabilité et de sa vulnérabilité relationnelle, la Commission préconisait que le cadre actuel de la détention et du soin de l'intéressé soit maintenu sur une longue durée, avant d'ouvrir la possibilité d'un placement dans un foyer. Dans un avis du 26 novembre 2008, la Direction des EPO a établi un préavis négatif à la libération conditionnelle de X._. En effet, elle expliquait que l'intéressé disait entendre des voix et se faire insulter par ses codétenus et ce même s'il se trouvait isolé de ceux-ci. Elle relevait qu'il s'était auto-mutilé à deux reprises et parvenait difficilement à gérer ses frustrations; il se liait peu avec ses codétenus et il fallait constamment le stimuler pour qu'il se douche ou range sa cellule. La direction des EPO notait qu'il respectait le personnel de surveillance et n'avait jamais tenu des propos irrespectueux envers lui. Dans sa conclusion, elle rappelait que le séjour de X._ dans ses établissements se situait dans une logique de transition, dans la perspective d'un nouveau placement institutionnel à moyen terme. Elle n'excluait pas le placement en institution, mais considérait que celui-ci devait faire l'objet d'un examen de la CIC et qu'une rencontre interdisciplinaire devrait être organisée pour déterminer l'institution susceptible de répondre aux besoins de l'intéressé. Se fondant sur l'avis de la CIC et de la Direction des EPO, le Juge d'application des peines du canton de Vaud a, par jugement du 18 mars 2009, refusé d'accorder à X._ la libération conditionnelle. Dans sa requête de libération conditionnelle, X._ demandait que sa mesure soit exécutée désormais dans un établissement non pénitentiaire, requête que le Juge d'application des peines a rejetée, relevant son incompétence pour modifier le lieu d'exécution de la mesure. Il a toutefois examiné si un placement dans une institution ouverte pouvait constituer une solution sous la forme d'une règle de conduite assortissant la libération à l'essai. Il a conclu qu'une telle solution n'était pas possible, car l'intéressé était encore fragile par rapport à sa pathologie et qu'au demeurant la prise en charge dont il faisait l'objet aux EPO était adéquate et devait être poursuivie sur le long terme. D. Le 27 mars 2009, X._ a adressé à l'OEP une requête tendant à son transfert "dans un établissement non carcéral à même de lui apporter des soins psychothérapeutiques". Par décision du 17 avril 2009, l'Office d'exécution des peines (OEP) a rejeté cette requête. X._ a formé un recours contre cette dernière décision devant le Juge d'application des peines, qui a rejeté celui-ci par arrêt du 22 juin 2009. E. Contre ce dernier arrêt, X._ dépose un recours en matière pénale devant le Tribunal fédéral. Il conclut, principalement, à la réforme de l'arrêt attaqué en ce sens qu'il est immédiatement placé dans un établissement non pénitentiaire à même de lui offrir des soins adéquats et, subsidiairement, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour nouvelle décision. En outre, il sollicite l'octroi de l'assistance judiciaire. L'OEP conclut au rejet du recours. Le Juge d'application des peines ne s'est pas déterminé. Le 1er décembre 2009, X._ a déposé une requête de mesures provisionnelles, tendant à son transfert dans un établissement non pénitentiaire à même de lui offrir des soins adéquats. 