Faits: Faits: A. Par décision du 10 juillet 2003, la Commission de libération du Département de la sécurité et de l'environnement du canton de Vaud (ci-après: la Commission de libération) a révoqué la libération conditionnelle accordée à X._ au 23 décembre 2001 et ordonné sa réintégration pour dix-huit mois de réclusion. A. Par décision du 10 juillet 2003, la Commission de libération du Département de la sécurité et de l'environnement du canton de Vaud (ci-après: la Commission de libération) a révoqué la libération conditionnelle accordée à X._ au 23 décembre 2001 et ordonné sa réintégration pour dix-huit mois de réclusion. B. Par arrêt du 16 septembre 2003, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de X._ contre la décision précitée. Il en ressort en résumé les éléments suivants. B.a Par jugement du 27 mars 2001, le Tribunal correctionnel de l'arrondissement de Lausanne a notamment condamné X._, pour séquestration et enlèvement, extorsion qualifiée, prise d'otage, contrainte, blanchiment d'argent, utilisation frauduleuse d'un ordinateur et infraction à la loi fédérale sur les stupéfiants, à quatre ans et demi de réclusion, sous déduction de la détention préventive. Par décision du 19 décembre 2001, la Commission de libération a accordé la libération conditionnelle à X._ aux conditions que sa conduite soit irréprochable jusqu'à la date de sa libération fixée au 23 décembre 2001, qu'il soit soumis à un délai d'épreuve de cinq ans, qu'il poursuive, pendant ledit délai, le traitement psychothérapeutique ambulatoire ordonné le 27 mars 2001 par le Tribunal correctionnel de l'arrondissement de Lausanne, qu'il reste sous la surveillance de la Fondation vaudoise de probation (ci-après: FVP) pendant le même délai et, que, pendant le délai d'épreuve, il ne commette aucun délit et respecte les conditions de sa libération anticipée, faute de quoi cette dernière pourra être révoquée. X._ ne s'étant pas présenté aux deux premiers rendez-vous fixés les 2 et 16 octobre 2002 par le Département universitaire de psychiatrie adulte (ci-après: DUPA) ainsi qu'à ceux fixés les 2 septembre et 1er octobre 2002 par la FVP, le Président de la Commission de libération, par décision du 19 décembre 2002, a renoncé à révoquer la libération conditionnelle de l'intéressé, lui a adressé un avertissement formel au sens de l'art. 38 ch. 4 CP, l'a sommé de se rendre à tous les rendez-vous fixés par le DUPA et la FVP, de collaborer à l'exécution du mandat qui leur a été confié et l'a informé qu'à la prochaine violation des conditions de sa libération conditionnelle, quelle qu'elle soit, celle-ci serait immédiatement révoquée. B.b Le 19 janvier 2003, X._ est allé chercher en voiture deux personnes à Francfort et les a fait entrer en Suisse alors même qu'elles n'en avaient pas le droit. Pour ces faits, le "Srafbefehlsrichter" de Bâle-ville l'a condamné, le 12 février 2003, pour infraction à la loi fédérale sur le séjour et l'établissement des étrangers, à nonante jours d'emprisonnement et 1'000 francs d'amende. B.c Dans un rapport du 28 avril 2003, la FVP a relevé que le recourant avait rencontré quelques difficultés au début du mandat de patronage mais que, depuis la décision du 19 décembre 2002, il s'était présenté à tous les entretiens et qu'il s'était montré collaborant. Elle a retenu que, sur le plan pénal, il n'avait jamais nié les faits, cherchait à comprendre les raisons qui l'avaient poussé à commettre ces infractions, souhaitait tourner la page et tout mettre en oeuvre afin de ne plus jamais retourner en prison. Au vu de ces éléments et compte tenu du fait que l'infraction commise le 19 janvier 2003 n'avait pas de lien direct avec le délit pour lequel X._ bénéficiait d'une libération conditionnelle, la FVP a considéré qu'il serait vraiment dommageable que les efforts de l'intéressé à s'inscrire dans un réel changement de comportement soient annihilés par une réintégration. Dans un rapport du 5 mai 2003, deux médecins du DUPA ont relevé que le suivi psychothérapeutique de X._ se déroulait depuis le 26 novembre 2002 à raison d'une consultation mensuelle d'environ trente minutes à laquelle il se rendait régulièrement, mais qu'il se montrait d'une participation mitigée. Le 23 juin 2003, le Service pénitentiaire a proposé d'ordonner la révocation de la libération conditionnelle accordée à X._ le 23 décembre 2001. Le 23 juin 2003, le Service pénitentiaire a proposé d'ordonner la révocation de la libération conditionnelle accordée à X._ le 23 décembre 2001. C. X._ forme un recours de droit administratif au Tribunal fédéral. Il conclut principalement à la réforme de l'arrêt attaqué, en ce sens que seul un avertissement soit prononcé à son encontre et subsidiairement à son annulation, la cause étant renvoyée à l'instance inférieure pour nouvelle décision. Il requiert l'assistance judiciaire et l'effet suspensif. 