Ausschaffungshaft gemäss Art. 13b ANAG, hat sich ergeben: A.- Der aus Tunesien stammende X._ reiste nach eigener Darstellung am 28. Juli 1999 illegal in die Schweiz ein und stellte am darauffolgenden Tag ein Asylgesuch. Das Bundesamt für Flüchtlinge lehnte dieses am 14. Februar 2000 ab und verfügte gleichzeitig die Wegweisung aus der Schweiz mit Frist zur Ausreise bis zum 31. März 2000. Auf die dagegen erhobene Beschwerde trat die Asylrekurskommission mangels Bezahlung des geforderten Kostenvorschusses mit Entscheid vom 12. April 2000 nicht ein. Die Ausreisefrist wurde auf den 16. Mai 2000 verlängert. In der Folge galt X._ als verschwunden. Am 6. Juni 2001 wurde er anlässlich einer Fahrzeugkontrolle in Murten durch die Kantonspolizei Freiburg angehalten und dem Amt für öffentliche Sicherheit des Kantons Solothurn zugeführt. Dieses ordnete tags darauf die Ausschaffungshaft über X._ an. Der Vizepräsident des Verwaltungsgerichts des Kantons Solothurn als Haftrichter prüfte diese am 8. Juni 2001 und bestätigte sie bis zum 5. September 2001. B.- X._ gelangte hiegegen am 4. Juli 2001 (Postaufgabe) an das Bundesgericht mit dem Begehren, ihn aus der Haft zu entlassen. Mit einer zusätzlichen Eingabe seines Bevollmächtigten vom 5. Juli 2001 stellt er den Antrag, den Entscheid des Haftrichters aufzuheben. C.- Das Verwaltungsgericht und das Amt für öffentliche Sicherheit des Kantons Solothurn beantragen, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Das Bundesamt für Ausländerfragen hat sich nicht vernehmen lassen. Von der Möglichkeit, innert Frist ergänzend Stellung zu nehmen, hat X._ nicht Gebrauch gemacht. 