Faits: A. A.a Par jugement du 7 juin 2007, confirmé par arrêt de la Cour de cassation pénale vaudoise du 12 juillet suivant, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois a condamné X._ pour blanchiment d'argent et infraction grave à la LStup à une peine privative de liberté de trois ans et six mois, sous déduction de cent quatre-vingt-cinq jours de détention préventive. A.b Le condamné, né en 1975, ressortissant du Nigéria, est père d'une fille mineure, de nationalité suisse. Les parents sont séparés. La mère dispose seule du droit de garde sur l'enfant. L'intéressé exécute sa peine depuis le 7 juin 2007 et en a effectué les deux tiers le 5 avril 2009. Détenu à la Maison « Le Vallon », il y a bénéficié du régime de travail externe. Son comportement correct a justifié le préavis favorable à la libération conditionnelle émis par la direction de l'établissement dans un rapport du 20 janvier 2009. Le 9 mars 2009, l'Office d'exécution des peines a également préavisé en faveur de la libération conditionnelle. Il proposait toutefois de grever cet élargissement de la condition du renvoi de l'intéressé de Suisse. Le Ministère public s'est rallié à cette proposition. Le Service de la population et des migrants du canton de Fribourg est à même de procéder à l'expulsion. A.c Par jugement du 2 avril 2009, le Juge d'application des peines a refusé la libération conditionnelle. Il a retenu, en substance, que si le comportement du condamné en prison ne s'y opposait pas, un pronostic défavorable devait néanmoins être posé sur son comportement en liberté. Il y avait sérieusement à craindre que X._ ne revienne immédiatement dans l'illégalité, en Suisse, respectivement dans un Etat limitrophe, après son expulsion, si tant est qu'elle intervienne. Il avait en effet déclaré ne pas vouloir être séparé de sa fille et vouloir rester en Suisse en précisant, par ailleurs, que s'il était expulsé, il partirait dans son pays avec son enfant. Une tentative maladroite de récupération de ses papiers laissait d'ailleurs planer des doutes supplémentaires quant à sa volonté de se soumettre à un refoulement. Ses seules perspectives se résumaient à rechercher du travail clandestin. On pouvait également craindre qu'il ne récidive en matière de trafic de stupéfiants, son amendement n'étant pas apparu évident. Le Juge d'application des peines a également relevé sur ce point que le fait de disposer d'un travail ne l'avait pas empêché de se livrer à un trafic d'envergure qui n'était donc pas justifié par la seule précarité de sa situation. B. Par arrêt du 27 avril 2009, le Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours interjeté contre ce jugement par X._. C. Ce dernier forme un recours en matière pénale contre cet arrêt. Il conclut principalement à sa réforme dans le sens de l'octroi de la libération conditionnelle et, à titre subsidiaire, à son annulation, la cause étant renvoyée à l'autorité inférieure pour nouvelle décision au sens des considérants. Il requiert, en outre, d'être mis au bénéfice de l'assistance judiciaire. Par ordonnance du 28 juillet 2009, le Président de la cour de céans a rejeté la requête d'effet suspensif et de mise en liberté formée par l'intéressé. Il n'a pas été ordonné d'échange d'écritures. 