gemäss Art. 13b Abs. 2 ANAG, hat sich ergeben: A.- Am 17. Oktober 2001 hielt die Stadtpolizei Zürich in Zürich einen Mann an, der sich als Y._ ausgab und behauptete, aus Sierra Leone zu stammen, jedoch einen auf den Namen X._, geb. 1974, lautenden nigerianischen Reisepass auf sich trug. Anlässlich der Befragung durch die Stadtpolizei vom 18. Oktober 2001 gab er an, er sei am 13. Oktober 2001 mit dem Flugzeug direkt von Nigeria nach Zürich gekommen. Am 19. Oktober 2001 wies das Migrationsamt des Kantons Zürich X._ aus dem Gebiet der Schweiz weg, nahm ihn in Ausschaffungshaft und verfügte, er habe bis zum 18. Januar 2002 in Haft zu bleiben. An der Haftrichterverhandlung vom 20. Oktober 2001 erklärte X._, er ersuche um Asyl. Mit Verfügung vom 20. Oktober 2001 genehmigte der Haftrichter des Bezirksgerichts Zürich die Ausschaffungshaft bis zum 18. Januar 2002. B.- Mit Verfügung vom 31. Oktober 2001 trat das Bundesamt für Flüchtlinge auf das Asylgesuch nicht ein, forderte X._ auf, die Schweiz sofort zu verlassen, und entzog einer allfälligen Beschwerde gegen diese Verfügung die aufschiebende Wirkung. Am 22. November 2001 verlegte der psychiatrisch-psychologische Dienst des Justizvollzugs des Kantons Zürich X._ notfallmässig in die Psychiatrische Klinik Hard in Embrach. Mit Zwischenverfügung vom 5. Dezember 2001 wies die Schweizerische Asylrekurskommission das Gesuch von X._ um Wiederherstellung der aufschiebenden Wirkung seiner Beschwerde ab. Am 18. Dezember 2001 wurde er aus der Klinik entlassen. Mit Entscheid vom 10. Januar 2002 trat die Schweizerische Asylrekurskommission auf die Beschwerde von X._ gegen die Verfügung des Bundesamts für Flüchtlinge vom 31. Oktober 2001 nicht ein, da dieser den verlangten Kostenvorschuss nicht geleistet hatte. Mit Verfügung vom 15. Januar 2002 genehmigte die Haftrichterin des Bezirksgerichts Zürich eine Verlängerung der Ausschaffungshaft bis zum 17. April 2002. C.- Dagegen hat X._ mit Eingabe vom 7. Februar 2002 beim Bundesgericht Verwaltungsgerichtsbeschwerde erhoben. Er beantragt, den Entscheid des Haftrichters aufzuheben und ihn unverzüglich aus der Haft zu entlassen; er ersucht zudem um unentgeltliche Rechtspflege und Verbeiständung. Das Migrationsamt des Kantons Zürich beantragt die Abweisung der Beschwerde. Die Haftrichterin hat auf eine Vernehmlassung verzichtet. Das Bundesamt für Ausländerfragen hat sich nicht vernehmen lassen. Der Beschwerdeführer hat sich mit Schreiben vom 14. Februar 2002 noch einmal zur Sache geäussert. 