Faits: Faits: A. X._, ressortissant béninois né en 1980, est entré en Suisse en 2003. Le 30 octobre 2003, il a été condamné pour infraction à la loi fédérale sur les stupéfiants à quarante-cinq jours d'emprisonnement, sous déduction de onze jours de détention préventive, avec sursis pendant deux ans, et à trois ans d'expulsion du territoire suisse, avec sursis pendant deux ans. Le 9 septembre 2004, il a été condamné, derechef pour infraction à la loi fédérale sur les stupéfiants, à trente jours d'emprisonnement sous déduction de dix jours de détention préventive et à trois ans d'expulsion du territoire suisse. Les sursis qui lui avaient été accordés le 30 octobre 2003 ont été révoqués. Le 19 décembre 2005, X._ a encore été condamné pour infraction grave à la loi fédérale sur les stupéfiants, rupture de ban et blanchiment d'argent à dix-huit mois d'emprisonnement, sous déduction de deux cent huitante-cinq jours de détention préventive, et à douze ans d'expulsion du territoire suisse. Il purge actuellement l'ensemble de ses peines d'emprisonnement, dont il a atteint les deux tiers le 1er février 2006. Il purge actuellement l'ensemble de ses peines d'emprisonnement, dont il a atteint les deux tiers le 1er février 2006. B. Le 2 février 2006, la Commission de libération du canton de Vaud a accordé la libération conditionnelle à X._, mais refusé de différer son expulsion à titre d'essai et dit que la libération n'interviendrait qu'au moment où l'expulsion serait exécutée. Elle a notamment considéré que, libéré en Suisse, X._ se retrouverait livré à lui-même et sans ressources. Dans ces conditions, l'expulsion de l'intéressé apparaissait comme la condition nécessaire d'un pronostic favorable (arrêt attaqué, consid. 3b p. 7). Par arrêt du 10 mars 2006, la Cour de cassation pénale du Tribunal cantonal vaudois a notamment confirmé, sur recours de l'intéressé, la disposition selon laquelle la libération ne pourrait intervenir qu'au moment de l'exécution de l'expulsion. Elle a considéré que, nonobstant l'évolution positive relevée par la direction de la Prison de la Croisée, il n'était pas possible d'émettre un pronostic favorable pour l'hypothèse où X._ resterait dans notre pays à sa sortie de prison, car il se retrouverait alors dans la même situation que lorsqu'il a commis ses diverses infractions. Il n'était dès lors pas arbitraire, selon la cour cantonale, de considérer l'exécution de l'expulsion comme le préalable nécessaire à un pronostic favorable (arrêt attaqué, consid. 3b p. 7). La cour cantonale a par ailleurs refusé d'entrer en matière sur le grief de X._ consistant à remettre en cause l'activité du Service vaudois de la population, accusé de manquer à son obligation de diligence dans la préparation de l'expulsion. Par arrêt du 10 mars 2006, la Cour de cassation pénale du Tribunal cantonal vaudois a notamment confirmé, sur recours de l'intéressé, la disposition selon laquelle la libération ne pourrait intervenir qu'au moment de l'exécution de l'expulsion. Elle a considéré que, nonobstant l'évolution positive relevée par la direction de la Prison de la Croisée, il n'était pas possible d'émettre un pronostic favorable pour l'hypothèse où X._ resterait dans notre pays à sa sortie de prison, car il se retrouverait alors dans la même situation que lorsqu'il a commis ses diverses infractions. Il n'était dès lors pas arbitraire, selon la cour cantonale, de considérer l'exécution de l'expulsion comme le préalable nécessaire à un pronostic favorable (arrêt attaqué, consid. 3b p. 7). La cour cantonale a par ailleurs refusé d'entrer en matière sur le grief de X._ consistant à remettre en cause l'activité du Service vaudois de la population, accusé de manquer à son obligation de diligence dans la préparation de l'expulsion. C. X._ interjette un recours de droit administratif contre cet arrêt, dont il demande la réforme en ce sens qu'il soit immédiatement mis en liberté, subsidiairement l'annulation avec renvoi de la cause à la cour cantonale pour nouvelle décision. Il invoque une violation de l'art. 38 CP. Il requiert en outre d'être mis au bénéfice de l'assistance judiciaire. Invitée à se déterminer, la cour cantonale s'est référée aux considérants de son arrêt. 