Sachverhalt: A. Der 1986 geborene afghanische Staatsangehörige X._ reiste im Jahr 2001 in die Schweiz ein und ersuchte hier ohne Erfolg um Asyl. Noch während des Rechtsmittelverfahrens vor der damaligen Asylrekurskommission heiratete X._ am 6. September 2005 eine 1976 geborene Schweizerin, worauf ihm eine Aufenthaltsbewilligung erteilt und letztmals bis zum 5. September 2010 verlängert wurde. Aus der Ehe ging am 21. September 2007 ein Sohn hervor. Mit Urteil vom 28. April 2010 verurteilte ihn das Kreisgericht Toggenburg namentlich wegen verschiedenen Verstössen gegen das Betäubungsmittelgesetz u.a. zu einer bedingten Freiheitsstrafe von zwei Jahren. Dem Urteil lag insbesondere zugrunde, dass X._ in der Zeit vom 1. April 2008 bis zum 31. Dezember 2008 total 60 Gramm Kokaingemisch und 125 Gramm Heroingemisch (entsprechend 17.75 Gramm reinem Heroin) verkauft hatte. Zudem hatte X._ am 2. April 2008 in Winterthur an einem Treffen teilgenommen, bei welchem es um die Beschaffung von einem Kilogramm Heroin gegangen war. Im Zusammenhang mit den obengenannten Taten befand sich X._ während 127 Tagen in Untersuchungshaft. Mit Verfügung vom 24. November 2010 verweigerte das Migrationsamt des Kantons Zürich die weitere Verlängerung der Aufenthaltsbewilligung von X._ unter Hinweis auf dessen Delinquenz. B. Gegen die Nichtverlängerung seiner Aufenthaltsbewilligung rekurrierte X._ ohne Erfolg bei der Sicherheitsdirektion des Kantons Zürich: Diese wies den Rekurs mit Entscheid vom 2. November 2011 ab. Hiergegen führte X._ Beschwerde beim Verwaltungsgericht des Kantons Zürich, welches das Rechtsmittel mit Urteil vom 8. Februar 2012 abwies. C. Mit Eingabe vom 14. März 2012 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er stellt im Wesentlichen den Antrag, es sei das Urteil des Verwaltungsgerichts aufzuheben und ihm die Aufenthaltsbewilligung zu verlängern. Während das Verwaltungsgericht des Kantons Zürich auf eine Vernehmlassung verzichtet, schliesst das Bundesamt für Migration auf Abweisung der Beschwerde. Die II. öffentlich-rechtliche Abteilung des Bundesgerichts hat die Angelegenheit am 15. März 2013 an einer öffentlichen Sitzung beraten. 