Sachverhalt: A. Der kongolesische Staatsangehörige X._ (geb. 1961) heiratete am 27. September 1985 die Schweizer Bürgerin Y._. Im Rahmen des Familiennachzugs erhielt er eine Aufenthaltsbewilligung. Der Ehe entsprossen die beiden Kinder Z._ (geb. 1986) und W._ (geb. 1987). Mit Urteil vom 29. Januar 1991 wurde X._ wegen Widerhandlungen gegen das Betäubungsmittelgesetz zu fünf Jahren Zuchthaus und zu zehn Jahren Landesverweisung "bedingt vollziehbar" verurteilt. Hinzu kamen im Zeitraum zwischen 1986 und 2003 zahlreiche Bussen und Gefängnisstrafen (u. a. zu 3, 13 und 16 Monaten wegen weiteren Betäubungsmitteldelikten, Verstössen gegen das Strassenverkehrsgesetz und Vernachlässigung von Unterhaltspflichten). Seine Ehe wurde 1997 geschieden. B. Zwischen 2001 und 2005 versuchte X._ vergeblich, für sich im Kanton Zürich eine Aufenthaltsbewilligung erhältlich zu machen. Sämtliche von ihm gegen die jeweils abschlägigen Bescheide erhobenen Rechtsmittel und Rechtsbehelfe drangen nicht durch. Ab dem Jahre 2005 versuchte er es mit demselben Anliegen ebenso erfolglos im Kanton Luzern; zuletzt trat das Bundesgericht auf eine entsprechende Beschwerde mangels Bewilligungsanspruch nicht ein (Urteil vom 20. Juli 2007 im Verfahren 2C_113/2007). Daraufhin wurde ihm eine Frist bis zum 10. September 2007 angesetzt, um den Kanton Luzern zu verlassen. C. Unmittelbar vor Ablauf dieser Frist, am 22. August 2007, heiratete X._ die aus Kamerun stammende V._ (geborene U._), welche das Schweizer Bürgerrecht besitzt. Sechs weitere Tage später, am 28. August 2007, stellte er im Kanton Zürich erneut ein Gesuch um Aufenthaltsbewilligung. Die Sicherheitsdirektion des Kantons Zürich wies dieses Gesuch mit Verfügung vom 6. Dezember 2007 ab und wies X._ an, den Kanton Zürich bis zum 10. März 2008 zu verlassen. Der gegen diese Verfügung erhobene Rekurs beim Regierungsrat des Kantons Zürich blieb in der Hauptsache erfolglos, und mit Urteil vom 21. Dezember 2011 wies das Verwaltungsgericht des Kantons Zürich die gegen den regierungsrätlichen Beschluss vom 14. September 2011 erhobene Beschwerde ebenfalls ab. D. Mit Eingabe vom 23. Januar 2012 führt X._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den (Haupt-)Anträgen, das letztgenannte Urteil aufzuheben und das Migrationsamt des Kantons Zürich anzuweisen, ihm - dem Beschwerdeführer - eine Aufenthaltsbewilligung zum Verbleib bei der Ehefrau zu erteilen. Gleichzeitig wird um unentgeltliche Rechtspflege und Verbeiständung ersucht. Die Staatskanzlei des Kantons Zürich beantragt - für den Regierungsrat - Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Verwaltungsgericht des Kantons Zürich verzichtet auf Vernehmlassung. Das Bundesamt für Migration schliesst auf Abweisung der Beschwerde. Der Beschwerdeführer hat von der Möglichkeit, sich nochmals zu äussern, keinen Gebrauch gemacht. E. Mit Verfügung vom 25. Januar 2012 hat der Abteilungspräsident der Beschwerde - antragsgemäss - aufschiebende Wirkung zuerkannt. 