Faits: A. A.a Par arrêt du 27 août 2008, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._ à quatre ans et demi de privation de liberté, sous déduction de 346 jours de détention préventive, et à 500 francs d'amende aux chefs de brigandage qualifié, séquestration, viol, violation grave des règles de la circulation routière, violation des devoirs en cas d'accident et contravention à la loi fédérale sur les stupéfiants. A.b Incarcéré le 27 août 2008 à la prison de la Croisée, X._ a été transféré aux Etablissements pénitentiaires de Bellechasse au cours du mois de novembre 2008 et a bénéficié depuis le 8 juin 2010 du régime de travail externe à la Maison "Le Vallon". Ayant atteint les deux tiers de l'exécution de sa peine depuis le 17 septembre 2010, il a requis sa libération conditionnelle. Son bon comportement a justifié les préavis favorables de la direction des Etablissements pénitentiaires de Bellechasse ainsi que de celle de la Maison "Le Vallon" selon leurs rapports des 5 juillet 2010, respectivement 11 août 2010. Le 29 juillet 2010, l'Office d'exécution des peines a également préavisé en faveur de la libération conditionnelle du condamné à compter du jour où il pourra quitter la Suisse. Le Ministère public s'est rallié à cette proposition. A.c Par jugement du 16 septembre 2010, le Juge d'application des peines du canton de Vaud a refusé la libération conditionnelle de X._ au motif que les propos qu'il avait tenus lors de son audition du 24 août 2010 témoignaient d'un amendement très insuffisant et d'une capacité d'introspection limitée. Les regrets qu'il avait formulés tant devant le tribunal correctionnel que lors de l'élaboration de son plan d'exécution aux Etablissements pénitentiaires de Bellechasse n'étaient pas aussi sincères que ses interlocuteurs avaient pu le croire et le condamné se posait en victime. Contrairement à ce que ce dernier avait prétendu, il avait bel et bien reçu la décision du Service de la population du 11 juin 2009 ordonnant son renvoi et il n'avait vraisemblablement aucune intention de s'y soumettre dans la mesure où il n'avait élaboré aucun projet de retour au Portugal. Le pronostic relatif au comportement futur de X._ se révélant défavorable, sa libération conditionnelle devait être refusée. B. Le 4 octobre 2010, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours du condamné. C. Ce dernier forme un recours en matière pénale contre l'arrêt cantonal. Il conclut principalement à sa libération conditionnelle, à titre subsidiaire, au renvoi de la cause à l'autorité précédente pour nouvelle instruction et nouveau jugement. Il requiert, en outre, le bénéfice de l'assistance judiciaire. Il n'a pas été ouvert d'échanges d'écritures. 