Sachverhalt: A. Der aus dem Kosovo stammende X._ (geb. 1973) reiste im Jahre 1994 in die Schweiz ein, durchlief erfolglos ein Asylverfahren und wurde schliesslich vorläufig aufgenommen.1999 lernte er in Zürich seine Landsfrau Y._(geb. 1973) kennen. Diese gebar ihm Juli 2000 in der Schweiz die Tochter A._. Im Juli 2000 heiratete X._ in O._ die Schweizer Bürgerin Z._ (geb. 1937). Er erhielt gestützt auf diese Eheschliessung die Aufenthalts- und am 23. Juni 2005 die Niederlassungsbewilligung. Im August 2006 wurde die Ehe geschieden. Inzwischen - am 16. April 2002 bzw. am 28. Oktober 2003 - hatte die im September 2000 in den Kosovo zurückgekehrte Y._ die Söhne B._ und C._ geboren, deren Vater ebenfalls X._ ist. X._ und Y._ heirateten im Januar 2008. B. Im Dezember 2008 ersuchte X._ um Bewilligung des Familiennachzugs für seine Ehefrau und die gemeinsame Tochter A._; später, am 27. Juli 2009, erweiterte er das Gesuch auf die beiden Söhne B._ und C._. Am 23. April 2010 gewährte die Sicherheitsdirektion des Kantons Zürich (Migrationsamt) X._ zum beabsichtigten Widerruf der Niederlassungsbewilligung und zur beabsichtigten Verweigerung des Familiennachzugs das rechtliche Gehör. X._ bezeichnete in der Folge einen Vertreter, verlangte Akteneinsicht, erhielt diese und nahm schliesslich mit Eingabe vom 18. Juni 2010 Stellung. Dort monierte er, die ihm zur Verfügung gestellten Akten seien unvollständig. So vermisse er "namentlich die Befragung von Y._ vor der schweizerischen Vertretung in Pristina". In materieller Hinsicht machte er geltend, er habe die "Existenz seiner mit Y._ gezeugten Kinder nie geleugnet", sondern er habe "sich vielmehr dazu bekannt, indem er diesbezüglich regelmässig die Vaterschaft anerkannt" habe. In der Tat ist X._ am 10. Mai 2002 bzw. am 12. November 2003 als Vater von B._ bzw. C._ im Geburtsregister der "United Nations Interim Administrative Mission in Kosovo" eingetragen worden. X._ führte die Zeugung dieser Kinder in seiner Eingabe vom 18. Juni 2010 auf "mehrere Affären mit seiner Landsfrau, Y._" zurück, "als Folge deren die bereits erwähnten Kinder hervorgegangen sind". Mit Verfügung vom 23. November 2010 widerrief das Migrationsamt die Niederlassungsbewilligung von X._, setzte ihm eine Frist bis zum 23. Februar 2011 zum Verlassen der Schweiz und wies die Nachzugsgesuche für die Ehefrau und die gemeinsamen Kinder ab. Zur Begründung führte das Amt im Wesentlichen aus, X._ habe nie die Absicht gehabt, mit Z._ eine wirkliche Ehe zu führen. Vielmehr habe er während dieser Ehe immer wieder Kontakt mit Y._ gehabt und mit dieser weitere Kinder gezeugt, was sich erst nachträglich herausgestellt habe. Damit sei davon auszugehen, dass X._ planmässig über Jahre hinweg mit dem Ziel vorgegangen sei, zuerst die Aufenthalts- und dann die Niederlassungsbewilligung zu erhalten, um anschliessend seine Familie in die Schweiz nachzuziehen. Ein solches Vorgehen sei krass rechtsmissbräuchlich. Den gegen diese Verfügung gerichteten Rekurs wies die Sicherheitsdirektion des Kantons Zürich am 25. November 2011 ab. C. Gegen den abschlägigen Direktionsentscheid gelangte X._ mit einem neuen Rechtsvertreter an das Verwaltungsgericht und verlangte Rückweisung der Angelegenheit, ausserdem seien ihm "sämtliche Akten des Migrationsamtes" zur Einsichtnahme zuzustellen. Dem letzteren Ansuchen gab das Verwaltungsgericht statt. Der Rechtsvertreter nahm Kenntnis und monierte mit Eingabe vom 10. Februar 2012, den Akten nicht bei läge "nach wie vor (...)" die "Befragung von Y._ seitens der schweizerischen Vertretung in Pristina". Mit Urteil vom 20. Februar 2012 wies das Verwaltungsgericht die Beschwerde ab. Auf die von X._ verlangten weiteren Beweismassnahmen, namentlich auf die Anordnung weiterer Abklärungen der Schweizer Vertretung vor Ort, hatte es verzichtet. D. Mit Eingabe vom 26. März 2012 führt X._ - unter Vorlage zahlreicher neuer Beweismittel - beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Anträgen, das letztgenannte Urteil aufzuheben und die Sache zur Neubeurteilung an das Migrationsamt des Kantons Zürich zurückzuweisen. Die kantonalen Verfahrensbeteiligten haben sich nicht vernehmen lassen bzw. ausdrücklich auf Vernehmlassung verzichtet. Das Bundesamt für Migration schliesst auf Abweisung der Beschwerde. E. Mit Verfügung vom 29. März 2012 hat der Abteilungspräsident der Beschwerde - antragsgemäss - aufschiebende Wirkung zuerkannt. X._ hat von der Möglichkeit, sich nochmals zu äussern, keinen Gebrauch gemacht. Hingegen reichte er dem Bundesgericht am 2. April 2012 eine weitere Beweismitteleingabe ein. 