Faits: Faits: A. X._, ressortissant albanais né en 1960, est arrivé en Suisse pour la première fois en 1997. Il a successivement déposé trois demandes d'asile, dont il a chaque fois été débouté. Le 23 août 1999, il a été condamné pour infraction grave à la loi fédérale sur les stupéfiants à huit ans de réclusion, sous déduction de cinq cent septante-quatre jours de détention préventive, et à quinze ans d'expulsion du territoire suisse. Par décision du 6 mai 2003, définitive et exécutoire depuis le 4 juillet suivant, la Commission de libération du canton de Vaud a ordonné sa libération conditionnelle mais refusé de différer son expulsion à titre d'essai (art. 55 al. 2 CP). Le 23 août 1999, il a été condamné pour infraction grave à la loi fédérale sur les stupéfiants à huit ans de réclusion, sous déduction de cinq cent septante-quatre jours de détention préventive, et à quinze ans d'expulsion du territoire suisse. Par décision du 6 mai 2003, définitive et exécutoire depuis le 4 juillet suivant, la Commission de libération du canton de Vaud a ordonné sa libération conditionnelle mais refusé de différer son expulsion à titre d'essai (art. 55 al. 2 CP). B. X._ souffre d'une affection pulmonaire sévère et invalidante, nécessitant une prise en charge pneumologique spécialisée et des traitements sophistiqués associés à une physiothérapie intensive. Cette affection limite ses chances de survie à moyen terme. Le 11 juin 2004, après avoir exercé sans succès un recours en grâce tendant à la remise de sa peine accessoire d'expulsion, X._ a saisi le Service de la population du canton de Vaud d'une demande en constatation de l'incompatibilité de l'exécution de l'expulsion avec le principe de non-refoulement prévu aux art. 5 LAsi et 3 CEDH. Il faisait valoir qu'en l'absence d'infrastructure médicale adéquate en Albanie et au Kosovo - d'où est originaire son épouse - son retour dans son pays d'origine ou son émigration dans la province d'origine de son épouse compromettrait gravement sa survie. Il a produit divers certificats médicaux et confirmé sa demande le 23 décembre 2004. Le 11 janvier 2005, il a aussi demandé, pour les mêmes motifs, la reconsidération de son renvoi par l'Office fédéral des réfugiés. L'office a transmis la demande au Service pénitentiaire du canton de Vaud, comme objet de sa compétence. X._ a alors présenté, le 21 janvier 2005, une demande de report sine die de son expulsion au service pénitentiaire. Le 27 janvier 2005, le chef du Département vaudois des Institutions et des Relations Extérieures (ci-après DIRE), dont dépendent les deux services concernés, s'est saisi des demandes de X._. Par décision du 5 octobre 2005, il les a rejetées et dit que l'expulsion pouvait être exécutée. Le 27 janvier 2005, le chef du Département vaudois des Institutions et des Relations Extérieures (ci-après DIRE), dont dépendent les deux services concernés, s'est saisi des demandes de X._. Par décision du 5 octobre 2005, il les a rejetées et dit que l'expulsion pouvait être exécutée. C. Par arrêt du 1er mai 2006, le Tribunal administratif du canton de Vaud a rejeté le recours exercé par X._ contre la décision du chef du DIRE. En substance, les juges cantonaux ont considéré que X._, à qui la qualité de réfugié avait été déniée par décisions entrées en force, ne pouvait se fonder sur les art. 5 LAsi et 33 de la Convention de Genève relative au statut des réfugiés (RS 0.142.30). Il pouvait tout au plus invoquer l'art. 3 CEDH, qui interdit la torture et les traitements inhumains ou dégradants. Mais les renseignements recueillis par le chef du DIRE sur les infrastructures médicales existant en Albanie et au Kosovo laissaient apparaître que l'intéressé ne se trouverait pas privé des soins appropriés et qu'il ne serait dès lors pas exposé à un traitement prohibé par l'art. 3 CEDH à son retour dans son pays d'origine. Par ailleurs, l'exécution de l'expulsion ne porterait pas atteinte à sa vie privée et familiale d'une manière incompatible avec l'art. 8 CEDH, puisque son épouse n'avait pas un droit de présence assuré en Suisse. Contrairement à ce que soutenait X._, rien ne s'opposait donc à l'exécution de son expulsion. En substance, les juges cantonaux ont considéré que X._, à qui la qualité de réfugié avait été déniée par décisions entrées en force, ne pouvait se fonder sur les art. 5 LAsi et 33 de la Convention de Genève relative au statut des réfugiés (RS 0.142.30). Il pouvait tout au plus invoquer l'art. 3 CEDH, qui interdit la torture et les traitements inhumains ou dégradants. Mais les renseignements recueillis par le chef du DIRE sur les infrastructures médicales existant en Albanie et au Kosovo laissaient apparaître que l'intéressé ne se trouverait pas privé des soins appropriés et qu'il ne serait dès lors pas exposé à un traitement prohibé par l'art. 3 CEDH à son retour dans son pays d'origine. Par ailleurs, l'exécution de l'expulsion ne porterait pas atteinte à sa vie privée et familiale d'une manière incompatible avec l'art. 8 CEDH, puisque son épouse n'avait pas un droit de présence assuré en Suisse. Contrairement à ce que soutenait X._, rien ne s'opposait donc à l'exécution de son expulsion. D. Contre cet arrêt, dont il demande l'annulation, X._ interjette un recours de droit administratif au Tribunal fédéral, pour violation des art. 3 et 8 CEDH. Il requiert d'être mis au bénéfice de l'assistance judiciaire. Invité à se déterminer, le Tribunal administratif du canton de Vaud a conclu au rejet du recours, sans motiver ses conclusions. 