Aufenthaltsbewilligung/Niederlassungsbewilligung, hat sich ergeben: A.- Der 1959 geborene libanesische Staatsangehörige A._ reiste am 15. Oktober 1989 in die Schweiz ein und stellte ein Asylgesuch, welches am 4. März 1992 abgewiesen wurde. Den dagegen eingereichten Rekurs wies die Eidgenössische Asylrekurskommission mit Entscheid vom 26. November 1992 ab. Das Bundesamt für Flüchtlinge setzte A._ eine Frist zum Verlassen der Schweiz bis 15. März 1993. Am 12. März 1993 tauchte A._ unter. Am 21. Oktober 1994 heiratete er in Zürich die 1944 geborene Schweizer Bürgerin B._. Im Rahmen von Ermittlungen der Kantonspolizei Zürich gegen Libanesen im Drogenmilieu wurde A._ am 1. Dezember 1994 in Untersuchungshaft und anschliessend in Ausschaffungshaft gesetzt, aus welcher er am 10. Februar 1995 entlassen wurde. Am 7. März 1995 erhielt er mit Rücksicht auf die schweizerische Staatsangehörigkeit seiner Ehefrau zuerst im Kanton Tessin, dann im Kanton Zürich eine Aufenthaltsbewilligung. Das Bezirksgericht Zürich verurteilte A._ am 26. Oktober 1995 wegen Urkundenfälschung und rechtswidrigen Verweilens in der Schweiz zu drei Monaten Gefängnis. Der Vollzug der Freiheitsstrafe wurde aufgeschoben und die Probezeit auf zwei Jahre angesetzt. Die Polizeidirektion des Kantons Zürich (heute Direktion für Soziales und Sicherheit) verwarnte A._ mit Verfügung vom 16. Februar 1996. Am 6. November 1999 verstarb seine Ehegattin. Am 26. Januar 2000 sprach das Bezirksgericht Zürich A._ der mehrfachen Widerhandlung gegen das Betäubungsmittelgesetz schuldig und verurteilte ihn zu 18 Monaten Gefängnis und zu einer Landesverweisung von 5 Jahren, wobei der Vollzug der Strafe und die Nebenstrafe unter Ansetzung einer Probezeit von drei Jahren aufgeschoben wurde. Mit Strafbefehl der Bezirksanwaltschaft Zürich vom 9. November 2000 wurde A._ wegen Vergehens gegen das Betäubungsmittelgesetz zu 14 Tagen Gefängnis als Zusatzstrafe zum Urteil des Bezirksgerichts Zürich vom 26. Januar 2000 bestraft. Der Vollzug der Freiheitsstrafe wurde aufgeschoben und die Probezeit auf drei Jahre angesetzt. B.- Am 18. September 2000 verfügte die Direktion für Soziales und Sicherheit des Kantons Zürich, die bis 20. Oktober 2000 gültige Aufenthaltsbewilligung von A._ werde nicht verlängert, und es werde A._ bis zum 10. Dezember 2000 Frist zum Verlassen des zürcherischen Kantonsgebietes angesetzt. Den dagegen eingereichte Rekurs wies der Regierungsrat des Kantons Zürich mit Beschluss vom 18. April 2001 ab. Diesen Beschluss focht A._ beim Verwaltungsgericht des Kantons Zürich an, welches die Beschwerde mit Entscheid vom 24. Oktober 2001 abwies, soweit es darauf eintrat. C.- Dagegen hat A._ am 14. Dezember 2001 beim Bundesgericht Verwaltungsgerichtsbeschwerde erhoben. Er beantragt, die "Verfügung der Direktion für Soziales und Sicherheit des Kantons Zürich vom 18. September 2000 sei aufzuheben und es sei die Direktion für Soziales und Sicherheit des Kantons Zürich anzuweisen, ihm eine Aufenthaltsbewilligung zu erteilen und die Überprüfung der Voraussetzungen für die Erteilung einer Niederlassungsbewilligung vorzunehmen". Die Staatskanzlei des Kantons Zürich (für den Regierungsrat) schliesst auf Abweisung der Beschwerde. Das Verwaltungsgericht des Kantons Zürich und das Bundesamt für Ausländerfragen beantragen übereinstimmend, die Verwaltungsgerichtsbeschwerde abzuweisen, soweit darauf einzutreten sei. 