Faits: A. Le 22 juillet 2008, la Cheffe du Département de la formation, de la jeunesse et de la culture du canton de Vaud (ci-après: le Département) a rejeté le recours de X._ contre la décision du Conseil de direction de la Haute école pédagogique du canton de Vaud (ci-après la HEP) du 7 février 2008, qui prononçait l'expulsion de l'intéressé de la HEP. Cette décision a été envoyée le même jour sous pli recommandé, à l'adresse habituelle du recourant en Suisse, et indiquait qu'elle pouvait faire l'objet d'un recours auprès du Tribunal fédéral dans le délai de trente jours dès sa notification. Par acte du 22 août 2008, déposé dans un bureau de poste français le 15 septembre 2008, X._ a formé un recours auprès du Tribunal fédéral qui, par arrêt du 28 octobre 2008 (2D_101/2008), l'a déclaré irrecevable et a transmis l'affaire au Tribunal cantonal (Cour de droit administratif et public) comme étant l'objet de sa compétence. B. Par décision du 12 février 2009, le Juge instructeur du Tribunal cantonal a aussi déclaré le recours irrecevable, mais pour cause de tardiveté. Appliquant la loi sur le Tribunal fédéral du 17 juin 2005 (LTF) et la jurisprudence y relative, il a retenu en bref qu'en raison de la notification de la décision attaquée durant les féries (art. 46 al. 1 let. b LTF), le délai de recours avait commencé à courir le 16 août 2008 et arrivait à échéance le 15 septembre 2008 (ATF 132 II 153 consid. 4.2 p. 148). Posté à l'étranger le dernier jour du délai, le recours ne respectait pas l'art. 48 al. 1 LTF, car il n'avait pu être pris en charge par la poste suisse qu'après l'échéance du délai de trente jours et n'était ainsi par- venu au Tribunal fédéral que le 18 septembre 2008. Le 20 février 2009, X._ a indiqué son intention de former un recours auprès du Tribunal fédéral contre la décision d'irrecevabilité du 12 février 2009 et a présenté une demande d'assistance judiciaire complète. Par lettre présidentielle du 3 mars 2009, le recourant a été informé de l'obligation d'élire en Suisse un domicile de notification (art. 39 al. 3 LTF) et des conditions d'octroi de l'assistance judiciaire (art. 64 LTF). Il lui était également indiqué que son acte du 20 février 2009 ne suffisait pas pour ouvrir un dossier. X._ a complété son recours par acte du 28 février 2009, déposé le 12 mars 2009 dans un bureau de poste genevois, et a produit plusieurs pièces. Il conclut à la nullité de la décision du Juge instructeur du Tribunal cantonal du 12 février 2009, ainsi qu'à celle de la Cheffe du Département du 22 juillet 2008, pour absence de notification régulière, et se plaint d'une violation des art. 6 et 14 CEDH (principe de l'égalité des armes et interdiction de discrimination). Le Juge instructeur du Tribunal cantonal et le Conseil de direction de la HEP ont renoncé à déposer des observations. Le Département a conclu à l'irrecevabilité du recours, subsidiairement à son rejet dans la mesure où il serait recevable. 