ANAG-Einzelrichter, Postfach 2266, 6431 Schwyz. Gegenstand Ausschaffungshaft (Art. 13b ANAG), Verwaltungsgerichtsbeschwerde gegen den Entscheid des Verwaltungsgerichts des Kantons Schwyz, ANAG- Einzelrichter, vom 23. Mai 2006. Sachverhalt: A. X._ (geb. 1987) stammt nach eigenen Angaben aus Zimbabwe. Er durchlief in der Schweiz erfolglos ein Asylverfahren; dabei ergab sich, dass er aller Wahrscheinlichkeit nach aus Nigeria stammen dürfte. Die Fremdenpolizei des Kantons Schwyz nahm ihn am 22. Mai 2006 in Ausschaffungshaft, welche der ANAG-Richter am Verwaltungsgericht tags darauf prüfte und bis zum 5. September 2006 bestätigte. B. B.a Am 30. Mai 2006 wandte sich X._ mit einer Beschwerde ("appeal") an das Verwaltungsgericht des Kantons Schwyz, welches diese zuständigkeitshalber an das Bundesgericht weiterleitete. X._ beantragt darin sinngemäss, er sei aus der Haft zu entlassen. B.b Am 12. Juni 2006 ersuchte der ANAG-Richter darum, die Beschwerde abzuweisen; zuvor sei jedoch der Vertreterin von X._ Gelegenheit zu geben, die Eingabe ihres Klienten zu ergänzen; er sei als Haftrichter nicht darüber informiert gewesen, dass die Caritas Schweiz am 16. März 2006 mit der Wahrnehmung der Interessen von X._ betraut worden sei, weshalb die Haftverhandlung ohne dessen Vertreterin stattgefunden habe. Die Fremdenpolizei des Kantons Schwyz nahm am 13. Juni 2006 ohne ausdrücklichen Antrag zur Sache Stellung. Das Bundesamt für Migration verzichtete am 19. Juni 2006 auf eine Vernehmlassung. B.c Die Vertreterin von X._ beantragte am 20. Juni 2006, den angefochtenen Entscheid aufzuheben und ihren Klienten sofort aus der Haft zu entlassen, da sie zu Unrecht und in Verletzung von dessen Anspruch auf rechtliches Gehör am Verfahren nicht beteiligt gewesen sei. 