Verlängerung der Aufenthaltsbewilligung, hat sich ergeben: A.- Der aus Mazedonien stammende S.D._, geboren am ......... 1953, arbeitete von 1989 an als Saisonnier in der Schweiz. Im November 1996 wurde seine Saisonbewilligung in eine Jahresaufenthaltsbewilligung zur Erwerbstätigkeit als Hilfsmaurer umgewandelt. Seit dem 19. Juni 1997 war S.D._ infolge eines Arbeitsunfalles nicht mehr in der Lage, einer Erwerbstätigkeit nachzugehen. In der Folge wurde seine Aufenthaltsbewilligung zwecks Stellensuche letztmals bis zum 14. April 2000 verlängert. Mit Verfügung vom 12. Februar 1999 sprach die Schweizerische Unfallversicherungsanstalt (SUVA) S.D._ bei Anerkennung einer Erwerbsunfähigkeit von 40% eine monatliche Invalidenrente von Fr. 1'066.-- mit Wirkung ab dem 1. März 1999 zu und richtete ihm eine Integritätsentschädigung von Fr. 36'450.-- aus. Eine Beschwerde gegen diesen Entscheid ist beim Sozialversicherungsgericht des Kantons Zürich hängig. Die IV-Stelle der Sozialversicherungsanstalt des Kantons Zürich sprach S.D._ mit Verfügung vom 5. März 1999 in Anerkennung eines Invaliditätsgrades von 100% eine ganze Invalidenrente im Betrag von Fr. 489.-- pro Monat mit Wirkung ab dem 1. Juni 1998 und mit Verfügung vom 14. September 1999 eine Hilflosenentschädigung leichten Grades von Fr. 201.-- pro Monat mit Wirkung ab demselben Datum zu. B.- Am 5. Februar 1999 reiste die Ehefrau M.D._ geboren am .......... 1958, - nachdem ihr zuvor die Einreise zwecks Familiennachzug verweigert worden war - mit einem Visum, welches sie zum Besuchsaufenthalt von längstens drei Monaten berechtigte, in die Schweiz ein. Unter Hinweis auf die durch seine Invalidität verursachte Pflegebedürftigkeit stellte S.D._ am 7. April 1999 erneut ein Gesuch um Erteilung einer Aufenthaltsbewilligung für seine - auch nach Ablauf ihres Besuchsvisums weiterhin in der Schweiz weilende - Ehefrau. Mit Verfügung vom 25. Juni 1999 wies die Direktion für Soziales und Sicherheit des Kantons Zürich, Fremdenpolizei, das Gesuch ab mit der Begründung, die Voraussetzungen des Familiennachzugs seien aufgrund der fehlenden Erwerbstätigkeit von S.D._ (Art. 39 Abs. 1 lit. a der Verordnung vom 6. Oktober 1986 über die Begrenzung der Zahl der Ausländer, BVO; SR 823. 21) nicht gegeben und die geltend gemachten Gründe vermöchten keinen anderen Entscheid zu rechtfertigen. Dagegen erhob M.D._ Rekurs an den Regierungsrat des Kantons Zürich. C.- Mit Verfügung vom 14. August 2000 wies die Direktion für Soziales und Sicherheit des Kantons Zürich, Fremdenpolizei, das Gesuch um Verlängerung der Aufenthaltsbewilligung für S.D._ ab und setzte ihm Frist zum Verlassen des Kantonsgebietes (Wegweisung). Zur Begründung führte die Fremdenpolizei an, die zuständige IV-Stelle habe den Invaliditätsgrad von S.D._ auf 100% festgelegt, weshalb mit einer Erwerbsaufnahme nicht mehr zu rechnen sei. Da er zur Ausübung der Erwerbstätigkeit zugelassen worden sei und die Bewilligung eines erwerbslosen Aufenthalts nicht in Frage komme, müsse sein Aufenthaltszweck als "erfüllt" betrachtet werden. Im Übrigen sei seine persönliche Anwesenheit auch für das hängige Beschwerdeverfahren betreffend Unfallversicherung derzeit nicht erforderlich. Schliesslich habe S.D._ während längerer Zeit (durch die öffentliche Fürsorge) finanziell unterstützt werden müssen. Gegen diese Verfügung legte S.D._ Rekurs beim Regierungsrat des Kantons Zürich ein. D.- Der Regierungsrat des Kantons Zürich vereinigte die gegen die Verfügungen vom 25. Juni 1999 bzw. vom 14. August 2000 gerichteten Rekurse von M. und S.D._ und wies sie mit Entscheid vom 21. März 2001 ab. Im Wesentlichen kam der Regierungsrat zum Schluss, auch bei einem weiteren Verbleib im Kanton Zürich sei mit einer Wiedereingliederung von S.D._ ins Erwerbsleben nicht zu rechnen, weshalb der Aufenthaltszweck des ursprünglich zur Ausübung einer Erwerbstätigkeit zugelassenen Ausländers hinfällig und die Verlängerung der Aufenthaltsbewilligung zu verweigern sei. Da S.D._ nicht zwingend auf weitere medizinische Behandlung in der Schweiz angewiesen sei, sei ihm der Aufenthalt auch nicht unter diesem Titel (Art. 33 BVO) zu gestatten. Schliesslich seien keine Umstände ersichtlich, welche die Anerkennung eines Härtefalles gemäss Art. 36 BVO rechtfertigen würden. Werde die Aufenthaltsbewilligung von S.D._ nicht verlängert, so komme eine Zulassung von M.D._ im Familiennachzug zum Vornherein nicht in Betracht. E.- Mit Eingabe vom 2. Mai 2001 haben S. und M.D._ gemeinsam beim Bundesgericht staatsrechtliche Beschwerde eingereicht. Sie stellen den Antrag, der Beschluss des Regierungsrates des Kantons Zürich vom 21. März 2001 sei aufzuheben und das Verfahren an diesen zurückzuweisen; eventuell sei der Regierungsrat anzuweisen, die Aufenthaltsbewilligung der Beschwerdeführer zu verlängern. Die Staatskanzlei des Kantons Zürich (im Auftrag des Regierungsrates) beantragt, auf die Beschwerde nicht einzutreten, eventualiter diese abzuweisen, soweit darauf einzutreten sei. F.-Dem von den Beschwerdeführern gestellten Gesuch um aufschiebende Wirkung wurde mit Verfügung des Präsidenten der II. öffentlichrechtlichen Abteilung vom 23. Mai 2001 entsprochen. 