Sachverhalt: A. Der 1962 geborene türkische Staatsangehörige X._ reiste gemäss eigenen Angaben am 4. Oktober 2000 in die Schweiz ein und ersuchte hier erfolglos um Asyl. Der Aufforderung zur Ausreise kam er nicht nach, sondern heiratete am 12. September 2001 eine 1959 geborene Schweizer Bürgerin, welche am 31. Juli 1999 einen Schlaganfall erlitten hatte, seither teilweise gelähmt und auf einen Rollstuhl angewiesen ist, eine IV-Rente und Ergänzungsleistungen bezieht und bis im April 2010 verbeiständet war. Gestützt auf diese Beziehung erteilte ihm das Migrationsamt des Kantons Zürich zuerst eine Aufenthaltsbewilligung und am 23. November 2006 schliesslich die Niederlassungsbewilligung. Nachdem X._ ein Gesuch um erleichterte Einbürgerung gestellt hatte, beauftragte das Gemeindeamt des Kantons Zürich die Stadtpolizei Zürich mit der Überprüfung der ehelichen Gemeinschaft. Aufgrund der Erkenntnisse dieser Überprüfung widerrief das Migrationsamt mit Verfügung vom 24. August 2010 die Niederlassungsbewilligung von X._. Es begründete dies im Wesentlichen damit, die Verbindung zwischen X._ und seiner schweizerischen Gattin sei von Anfang an nur eine Scheinehe gewesen. B. Die von X._ eingereichten Rechtsmittel gegen die Widerrufsverfügung des Migrationsamtes wurden von der Rekursabteilung der Sicherheitsdirektion des Kantons Zürich (Rekursentscheid vom 11. Mai 2011) sowie vom Verwaltungsgericht des Kantons Zürich (Urteil vom 30. November 2011) abgewiesen. C. Mit Eingabe vom 6. Januar 2012 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht und stellt im Wesentlichen den Antrag, es sei das Urteil des Verwaltungsgerichts aufzuheben und vom Widerruf seiner Niederlassungsbewilligung abzusehen. Die Sicherheitsdirektion und das Verwaltungsgericht des Kantons Zürich sowie das Bundesamt für Migration schliessen auf Abweisung der Beschwerde. Mit Verfügung vom 12. Januar 2012 erkannte der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss aufschiebende Wirkung zu. Mit Verfügung vom 29. Februar 2012 lehnte das Bundesgericht das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege und Verbeiständung mangels prozessualer Bedürftigkeit ab. 