gemäss Art. 13b Abs. 2 ANAG, hat sich ergeben: A.- L._ stellte unter dem Namen K._ am 3. August 1999 ein erstes Asylgesuch in der Schweiz, wobei er angab, aus Sierra Leone zu stammen. Am 25. Januar 2000 trat das Bundesamt für Flüchtlinge darauf nicht ein und wies den Gesuchsteller aus der Schweiz weg. Während des Asylverfahrens verfügte die Fremdenpolizei des Kantons Zürich die Ausgrenzung des Asylbewerbers aus dem gesamten zürcherischen Stadtgebiet. Am 17. Februar 2000 erteilte die Jugendanwaltschaft Zürich dem Gesuchsteller wegen Widerhandlungen gegen das Betäubungsmittelgesetz einen Verweis. Am 9. Oktober 2000 reichte L._ unter der gleichen falschen Identität ein zweites Asylgesuch ein. Eine während des Asylverfahrens durchgeführte Herkunftsanalyse ergab, dass er nicht aus Sierra Leone stammt. In der Folge wurde gegen den Gesuchsteller mehrfach wegen Widerhandlungen gegen das Betäubungsmittelgesetz ermittelt. Am 19. September 2001 wurde er polizeilich festgenommen und am 21. September 2001 in Untersuchungshaft gesetzt. Mit Entscheid vom 3. Oktober 2001 trat das Bundesamt für Flüchtlinge auch auf das zweite Asylgesuch nicht ein und wies den Asylbewerber erneut aus der Schweiz weg. Nach seiner Entlassung aus der Untersuchungshaft und Zuführung an das Amt für Polizeiwesen Graubünden, Asyl- und Massnahmevollzug, wurde L._ von diesem in Ausschaffungshaft genommen. Zum bei ihm gefundenen gambischen Pass, der auf den Namen L._ lautet, sagte er aus, der Pass sei nicht echt; eine kriminaltechnische Prüfung ergab jedoch, dass dieser keine objektiven Fälschungsmerkmale aufweist. L._ berief sich sodann auf eine Beziehung zu einer Schweizerin und machte geltend, er wolle diese demnächst heiraten; nach Afrika kehre er nicht zurück. Bei einem Ausschaffungsversuch am 11. Oktober 2001 verweigerte er denn auch den Einstieg ins Flugzeug. Mit Urteil vom 12. Oktober 2001 genehmigte das Bezirksgerichtspräsidium Plessur als Haftgericht die Ausschaffungshaft bis zum 22. November 2001. B.- Am 25. Oktober 2001 stellte L._ ein Gesuch um Erteilung einer fremdenpolizeilichen Aufenthaltsbewilligung zwecks Vorbereitung der Heirat mit seiner Schweizer Freundin. Das Amt für Polizeiwesen Graubünden, Abteilung Fremdenpolizei, trat darauf am 31. Oktober 2001 nicht ein. Diese Verfügung wurde rechtskräftig. Am 12. November 2001 reichte L._ ein Haftentlassungsgesuch ein, wobei er sich unter anderem auf die bevorstehende Eheschliessung mit einer Schweizerin berief. Am 16. November 2001 ersuchte das Amt für Polizeiwesen Graubünden, Asyl- und Massnahmevollzug, das zuständige Bezirksgerichtspräsidium Plessur um Haftverlängerung. Bei der Haftrichterverhandlung am 21. November 2001 gab L._ zu, bisher unter falscher Identität aufgetreten und in Tat und Wahrheit L._ zu sein. Er berief sich nicht nur auf die angeblich bevorstehende Heirat, sondern kritisierte auch die Haftbedingungen, insbesondere die eingeschränkten Besuchsmöglichkeiten. Am 21. November 2001 verlängerte der Haftrichter die Ausschaffungshaft bis zum 31. Januar 2002. In der Folge gestattete das Amt für Polizeiwesen Graubünden, Asyl- und Massnahmevollzug, dass L._ zwei Mal pro Woche von seiner Freundin besucht werden kann. C.- Mit Verwaltungsgerichtsbeschwerde vom 23. November 2001 an das Bundesgericht stellt L._ den Antrag, das Urteil des Bezirksgerichtspräsidenten Plessur vom 21. November 2001 aufzuheben und ihn selber sofort aus der Ausschaffungshaft zu entlassen. Das Bezirksgericht Plessur hat auf eine Vernehmlassung verzichtet. Das Amt für Polizeiwesen Graubünden schliesst in seiner Vernehmlassung vom 30. November 2001 auf Abweisung der Beschwerde. L._ hat sich mit Eingabe vom 4. Dezember 2001 nochmals zur Sache geäussert. Das Bundesamt für Ausländerfragen hat innert Frist keine Stellungnahme eingereicht. 