Faits : Faits : A. A.a X._ a été condamné: - le 1er novembre 1994, à quinze jours d'emprisonnement pour violation grave des règles de la circulation et conduite d'un véhicule en état d'ébriété; - le 10 juin 2001, à 650 fr. d'amende pour violation grave des règles de la circulation; - le 6 mars 2002, à vingt jours d'emprisonnement et 100 fr. d'amende pour violation grave des règles de la circulation et circulation malgré une mesure de retrait; - le 4 août 2003, à sept jours d'emprisonnement pour ivresse au volant et contravention à l'ordonnance sur l'assurance des véhicules. A.b Par jugement du 16 septembre 2005, le Tribunal correctionnel de l'arrondissement de La Broye et du Nord vaudois l'a condamné pour viol, tentative de viol, contrainte sexuelle, actes d'ordre sexuel avec des enfants, inceste et tentative d'inceste, vol et tentative de vol, vol d'importance mineure, dommages à la propriété, violation de domicile, escroquerie, recel, usurpation de fonctions, violation grave des règles de la circulation, circulation sans permis de conduire, circulation malgré un retrait du permis de conduire, circulation sans permis de circulation, conduite d'un véhicule non couvert par une assurance RC et contravention à la loi fédérale sur les stupéfiants, à la peine de cinq ans de réclusion, sous déduction de trois cent soixante-deux jours de détention préventive. En cours d'enquête, X._ avait été soumis à une expertise psychiatrique. Dans leur rapport du 9 juillet 2004, les médecins désignés avaient posé un diagnostic de pédophilie (inceste), de personnalité à traits pervers manipulateurs et caractériels, d'abus de cocaïne et d'alcool, et d'hépatite B. D'après eux, le comportement de l'expertisé, notamment ses actes incestueux, rentrait dans le cadre de sa perversité, caractérisée par l'amoralité, l'inaffectivité et la cruauté pour une satisfaction immédiate. Selon les constatations qu'ils avaient faites, X._ banalisait ou minimisait tout ce qui l'arrangeait. Sa relation à l'autre paraissait inexistante et ne semblait servir qu'à assouvir son plaisir immédiat. Ils avaient conclu que le prénommé possédait entièrement la capacité d'apprécier le caractère illicite et dangereux de ses actes, ainsi que celle de se déterminer d'après cette appréciation, et qu'il présentait un risque de récidive évident. Ils ne s'étaient en revanche pas prononcés sur l'éventualité d'une mesure de sûreté au sens des art. 43 ou 44 CP. En cours d'enquête, X._ avait été soumis à une expertise psychiatrique. Dans leur rapport du 9 juillet 2004, les médecins désignés avaient posé un diagnostic de pédophilie (inceste), de personnalité à traits pervers manipulateurs et caractériels, d'abus de cocaïne et d'alcool, et d'hépatite B. D'après eux, le comportement de l'expertisé, notamment ses actes incestueux, rentrait dans le cadre de sa perversité, caractérisée par l'amoralité, l'inaffectivité et la cruauté pour une satisfaction immédiate. Selon les constatations qu'ils avaient faites, X._ banalisait ou minimisait tout ce qui l'arrangeait. Sa relation à l'autre paraissait inexistante et ne semblait servir qu'à assouvir son plaisir immédiat. Ils avaient conclu que le prénommé possédait entièrement la capacité d'apprécier le caractère illicite et dangereux de ses actes, ainsi que celle de se déterminer d'après cette appréciation, et qu'il présentait un risque de récidive évident. Ils ne s'étaient en revanche pas prononcés sur l'éventualité d'une mesure de sûreté au sens des art. 43 ou 44 CP. B. Passé en régime d'exécution de peine dès le 16 septembre 2005, X._ a été transféré aux Etablissements de la plaine de l'Orbe (EPO) le 7 février 2006. Le 13 mars 2006, la directrice des EPO a requis la Commission interdisciplinaire consultative concernant les délinquants nécessitant une prise en charge psychiatrique (ci-après: CIC) de se saisir du cas de X._, parce que ce dernier ne présentait aucune remise en question, se déresponsabilisait, n'avait exprimé aucun regret envers sa victime, refusait tout travail thérapeutique ainsi que l'idée du risque de récidive, que la directrice considérait comme non négligeable. Par décision des 21 et 22 mars 2006, la CIC a considéré que X._ relevait de la compétence que lui attribue l'art. 8 ch. 3 de son règlement (ci-après RCIC; RS/VD 340.01.2). Elle a retenu que l'intéressé devait parvenir à se questionner sur son comportement dans le cadre d'un suivi thérapeutique, toute ouverture du régime de détention demeurant prématurée, avant le réexamen de la situation en décembre 2006. A deux reprises, X._ a contesté la compétence de la CIC, lors même que l'Office d'exécution des peines (ci-après: OEP) lui avait expliqué à quelles conditions la commission devait être saisie et que la question du risque de réitération devait être évaluée avant toute éventuelle mise en oeuvre du régime progressif de l'exécution de la peine. Le 19 juillet 2006, X._ s'est évadé des EPO. Il a été arrêté et réintégré deux jours plus tard. Ces faits lui ont valu quinze jours d'arrêts disciplinaires sans travail. Le 19 juillet 2006, X._ s'est évadé des EPO. Il a été arrêté et réintégré deux jours plus tard. Ces faits lui ont valu quinze jours d'arrêts disciplinaires sans travail. C. Par requête du 18 septembre 2006, X._ a demandé son transfert au Pénitencier de Bellechasse, établissement pour condamnés primaires, en application de l'art. 37 ch. 2 al. 2 CP. Le 27 septembre 2006, l'OEP a rejeté cette requête en se référant à ses précédents arguments, complétés par le rappel de l'évasion et la dangerosité que l'intéressé présentait. En temps utile, X._ a interjeté un recours cantonal contre ce refus. Par arrêt du 23 novembre 2006, la Cour de cassation pénale du Tribunal cantonal du canton de Vaud a rejeté le recours et confirmé la décision entreprise. En substance, elle a retenu que X._, en sa qualité de délinquant primaire, devrait être placé soit aux Etablissements de Bellechasse, soit à la Colonie pénitentiaire de Crêtelongue. Toutefois, le refus du transfert dans ces établissements était fondé sur «des raisons particulières» au sens de l'art. 37 ch. 2 al. 2 dernière phrase CP ou de «justes motifs» au sens de l'art. 12 al. 1 ch. 1 2ème phrase du concordat sur l'exécution des peines et mesures concernant les adultes et les jeunes adultes dans les cantons romands et du Tessin du 22 octobre 1984 (ci-après: C -EPMRT; RS/VD 340.93), tenant à la nécessité de l'évaluation médicale, au risque de récidive déjà mentionné dans le rapport d'expertise du 9 juillet 2004 et à la prise en considération de l'évasion en juillet 2006. En temps utile, X._ a interjeté un recours cantonal contre ce refus. Par arrêt du 23 novembre 2006, la Cour de cassation pénale du Tribunal cantonal du canton de Vaud a rejeté le recours et confirmé la décision entreprise. En substance, elle a retenu que X._, en sa qualité de délinquant primaire, devrait être placé soit aux Etablissements de Bellechasse, soit à la Colonie pénitentiaire de Crêtelongue. Toutefois, le refus du transfert dans ces établissements était fondé sur «des raisons particulières» au sens de l'art. 37 ch. 2 al. 2 dernière phrase CP ou de «justes motifs» au sens de l'art. 12 al. 1 ch. 1 2ème phrase du concordat sur l'exécution des peines et mesures concernant les adultes et les jeunes adultes dans les cantons romands et du Tessin du 22 octobre 1984 (ci-après: C -EPMRT; RS/VD 340.93), tenant à la nécessité de l'évaluation médicale, au risque de récidive déjà mentionné dans le rapport d'expertise du 9 juillet 2004 et à la prise en considération de l'évasion en juillet 2006. D. Agissant en temps utile par la voie du recours de droit administratif, X._ conclut à l'annulation de l'arrêt cantonal. Invoquant les art. 8, al. 1, et 9 Cst., ainsi que les art. 5, par. 1er, et 7 CEDH, il reproche à la cour cantonale une application arbitraire de l'art. 37 ch. 2 al. 2 CP. Il se plaint en particulier qu'elle ait suivi l'avis de la CIC sans tenir compte de sa condamnation, qui n'impliquait aucune mesure particulière. En procédant ainsi, la cour cantonale aurait couvert la décision d'une autorité administrative, la CIC, qui contredirait et aggraverait la peine fixée par le juge du fond en astreignant un condamné primaire à «une politique de détention répressive et restrictive qui s'apparente aux modalités d'exécution de l'art. 43 CP ». Il n'a pas été ordonné d'échange d'écritures. 