Aufenthaltsbewilligung, hat sich ergeben: A.- Der aus der Bundesrepublik Jugoslawien (Kosovo) stammende X._ (geb. 1969) kam 1992 als Asylsuchender in die Schweiz. Am 15. Mai 1993 heiratete er die Schweizer Bürgerin Y._ (geb. 1964), worauf ihm eine Aufenthaltsbewilligung zum Verbleib bei dieser erteilt wurde. Am 19. März 1998 verhaftete die Stadtpolizei Zürich X._ im Zusammenhang mit dem Transport von rund 5 Kilogramm Heroin (Reinheitsgrad: 55 %). Das Bezirksgericht Zürich verurteilte ihn hierfür am 25. Februar 1999 zu einer Zuchthausstrafe von dreieinviertel Jahren. Am 29. März 2000 gebar Y._ den Sohn Z._. X._ wurde am 18. Mai 2000 bedingt aus dem Strafvollzug entlassen. B.- Die Direktion für Soziales und Sicherheit des Kantons Zürich verfügte am 25. Juni 1999, dass die Aufenthaltsbewilligung von X._ nicht verlängert werde und er nach Entlassung aus dem Strafvollzug das Kantonsgebiet zu verlassen habe. Der Regierungsrat des Kantons Zürich bestätigte diesen Entscheid auf Rekurs hin am 22. November 2000. Das Verwaltungsgericht des Kantons Zürich wies die hiergegen gerichtete Beschwerde am 9. Mai 2001 mit der Begründung ab, dass die Gesamtwürdigung der Verhältnisse den Schluss des Regierungsrats, wonach die privaten Interessen an einer Erteilung der Aufenthaltsbewilligung hinter die öffentlichen an einer Fernhaltung zurückzutreten hätten, "gerade noch als vertretbar" erscheinen lasse. C.- X._ hat hiergegen am 21. Juni 2001 beim Bundesgericht Verwaltungsgerichtsbeschwerde eingereicht mit dem Antrag, den angefochtenen Entscheid aufzuheben und ihm weiterhin eine Aufenthaltsbewilligung im Kanton Zürich zu erteilen. Die Nichtverlängerung der Aufenthaltsbewilligung stelle einen unzulässigen Eingriff in sein durch Art. 8 EMRK geschütztes Recht auf Familienleben dar. Die Staatskanzlei (für den Regierungsrat) und das Verwaltungsgericht des Kantons Zürich beantragen, die Beschwerde abzuweisen bzw. abzuweisen, soweit darauf einzutreten sei. Das Bundesamt für Ausländerfragen regt an, "das Verfahren an die Vorinstanz zur nochmaligen Beurteilung unter Berücksichtigung des Entscheides des Europäischen Gerichtshofs für Menschenrechte vom 2. August 2001 [in Sachen Boultif] zurückzuweisen". 