gemäss Art. 13b Abs. 2 ANAG, hat sich ergeben: A.- A._ reiste nach eigener Darstellung am 2. Oktober 2000 illegal in die Schweiz ein und stellte gleichentags ein Asylgesuch, wobei er angab, aus Sierra Leone zu stammen. Vom 22. Februar bis zum 2. März 2001 galt er behördlich als verschwunden. Mit Verfügung vom 29. März 2001 trat das Bundesamt für Flüchtlinge auf das Asylgesuch nicht ein und wies A._ aus der Schweiz weg. Zur Begründung führte es unter anderem aus, die Unkenntnisse des Gesuchstellers betreffend Sierra Leone liessen den Schluss zu, er stamme aus einem anderen Land; die Hinweise auf eine Verfolgung in Sierra Leone seien offensichtlich haltlos, und es sprächen weder die im vermutlichen Heimatstaat herrschende Situation noch andere Gründe gegen die Zumutbarkeit der Rückführung in diesen. Am 14. Juni und 11. September 2001 wurde A._ in der Drogenszene in Solothurn festgenommen. In der Folge wurde gegen ihn ein Strafverfahren wegen des Verdachts der Widerhandlung gegen das Betäubungsmittelgesetz (Besitz und Verkauf bzw. Anstaltentreffen zum Verkauf von Kokain, evtl. Heroin) eingeleitet. Am 12. September 2001 verfügte das Amt für öffentliche Sicherheit, Ausländerfragen, des Kantons Solothurn die Ausgrenzung von A._ aus der Stadt Solothurn. Am 13. September 2001 ordnete dasselbe Amt die Ausschaffungshaft an. Der Präsident des Verwaltungsgerichts prüfte und bestätigte die Haft am 14. September 2001. Bei der behördlichen Vorbereitung der Ausschaffung traten in der Folge Zweifel über die Herkunft von A._ auf. Nebst der behaupteten Herkunft aus Sierra Leone ergaben sich Hinweise auf eine mögliche Herkunft aus Nigeria. Mit Verfügung vom 4. Dezember 2001 beantragte das Amt für öffentliche Sicherheit die Verlängerung der Ausschaffungshaft bis zum 11. März 2002. Mit Urteil vom 11. Dezember 2001 genehmigte der Vizepräsident des Verwaltungsgerichts des Kantons Solothurn diese Verlängerung. B.- Gegen diesen Haftverlängerungsentscheid führt A._ Verwaltungsgerichtsbeschwerde beim Bundesgericht mit folgenden Anträgen: "1Das Urteil des Verwaltungsgerichts vom 11. Dezember 2001 sei aufzuheben. 2Die über den Beschwerdeführer verhängte Ausschaffungshaft sei nicht zu verlängern. 3Der Beschwerdeführer sei unverzüglich aus der Ausschaffungshaft zu entlassen. 4Eventuell sei die über den Beschwerdeführer verhängte Ausschaffungshaft nur bis zum Vorliegen des Entscheids der nigerianischen Vertretung zu verlängern. ..." Zur Begründung führt A._ im Wesentlichen aus, die Behörden hätten gegen das Beschleunigungsgebot verstossen, da sie während geraumer Zeit lediglich Schritte unternommen hätten, um ihn nach Sierra Leone auszuschaffen, was von vornherein unzulässig sei. Weiter beanstandet A._ die Haftbedingungen, weil ihm lediglich Verpflegung angeboten werde, die er nicht vertrage, und weil seinen Kolleginnen und Kollegen nicht gestattet worden sei, ihm (afrikanische) Lebensmittel und Zigaretten zu bringen. Das Verwaltungsgericht sowie das Amt für öffentliche Sicherheit des Kantons Solothurn beantragen die Abweisung der Beschwerde, soweit darauf eingetreten werden könne. A._ nahm die Gelegenheit wahr, sich nochmals zur Sache zu äussern. Das Bundesamt für Ausländerfragen hat sich innert Frist nicht vernehmen lassen. 