Sachverhalt: A. Der 1981 geborene S._ reiste Ende 1995 in die Schweiz ein, wo er bis 1998 an der Volksschule zwei Klassen der Oberstufe und das Berufswahljahr besuchte. In der Folge absolvierte er ein Bildungs- und Arbeitsqualifikationsprogramm und war von September 1999 bis Oktober 2002 bei der Firma Bäckerei X._ AG als Hilfsbäcker tätig. Nachdem er anschliessend verschiedene weitere Stellen innegehabt hatte, arbeitete der Versicherte ab November 2007 wiederum bei der Bäckerei X._, diesmal in der Spedition (als Chauffeur und Disponent). Zufolge dauernder Müdigkeit und Atemprobleme am Arbeitsplatz überwies ihn sein Hausarzt Dr. Z._ an den Pneumologen und Internisten Dr. E._, welcher im Arztbericht vom 4. Mai 2009 ein sog. Bäckerasthma bei Mehlstauballergie diagnostizierte. Die Abteilung Arbeitsmedizin der Schweizerischen Unfallversicherungsanstalt (SUVA) erliess am 7. August 2009 eine Nichteignungsverfügung für alle beruflichen Tätigkeiten mit Exposition zu Weizen- oder Roggenmehlstaub. Mit Blick auf diese Berufskrankheit kündigte die Bäckerei X._ das Arbeitsverhältnis auf Ende Oktober 2009. Nachdem sich S._ im Juli 2009 bei der Invalidenversicherung zum Leistungsbezug angemeldet hatte, verneinte die IV-Stelle des Kantons Zürich mit Verfügung vom 1. Oktober 2010 einen Anspruch auf berufliche Massnahmen. B. Das Sozialversicherungsgericht des Kantons Zürich wies die dagegen erhobene Beschwerde mit Entscheid vom 20. Januar 2011 ab. C. S._ führt Beschwerde ans Bundesgericht mit dem Antrag auf Zusprechung der "gesetzlich geschuldeten Leistungen, insbesondere berufliche Massnahmen (Umschulung etc)"; eventuell sei die Sache zur ergänzenden Sachverhaltsabklärung an die IV-Stelle zurückzuweisen. 