Sachverhalt: A. Im August 2009 trat X._ (geb. 1997) nach Abschluss der Primarschule Thalwil in die Kantonsschule Freudenberg ein. Dort ergaben sich immer grössere Probleme, so dass X._ in die Kinderstation Brüschhalde des kantonalzürcherischen Kinder- und Jugendpsychiatrischen Dienstes übertrat. Die für X._ zuständigen Ärztinnen erkannten in ihm gemäss Bericht vom 15. Juni 2010 einen "hochbegabte(n) Jungen" mit grossen kognitiven Stärken "im wahrnehmungsgebundenen logischen Denken", was sich vor allem "in seiner ausserordentlichen mathematischen Begabung" zeige. Andererseits sei bei X._ die Diagnose für eine "Anpassungsstörung mit gemischter Störung der Gefühle und des Sozialverhaltens" und diejenige für einen "atypischen Autismus" erfüllt, weswegen "dringend die Beschulung in einer Kleinklasse (...) auf gymnasialem Niveau" empfohlen werde. In der Folge kehrte X._ an die Kantonsschule zurück und erhielt bis anfangs Dezember 2010 Einzelunterricht und sonderpädagogische Therapie. B. Nach weiteren Abklärungen, einem "runden Tisch" unter Beizug der Eltern von X._ sowie aufgrund zusätzlicher Empfehlungen des Schulpsychologischen Dienstes Horgen erliess die Schulpflege Thalwil am 10. Mai 2011 folgende Verfügung: "1. Für die Sonderschulung von X._ im Lernstudio Y._ in der 1. Klasse Z._ wird für den Rest des Schuljahres 2010/2011 vom 9.05.2011 - 15.07.2011 Kostengutsprache in der Höhe von Fr. 12'120 zuzüglich der Einschreibegebühr von Fr. 400 geleistet. Danach ist für eine weitere Kostengutsprache ein Standortgespräch notwendig. 2. Die Schulung gemäss Ziff. 1 vorstehend beinhaltet 5 Einzellektionen pro Woche. Kosten für Lateinstunden werden von der Schule Thalwil nicht übernommen. 3. (...). 4. Die Massnahme ist Ende Schuljahr 2010/11 anhand eines Schulischen Standortgesprächs und eines Berichtes (...) zu überprüfen. 5. Für eine Weiterführung der Sonderschulung im Schuljahr 2011/12 muss ein neues Gesuch auf Kostengutsprache eingereicht werden. (...)." Hiegegen erhob X._ am 10. Juni 2011 Rekurs beim Bezirksrat Horgen. Er verlangte, dass die Schule Thalwil die Kosten für eine gymnasiale Schulung in einer Kleinklasse und/oder mit zusätzlichen Förderstunden zu übernehmen habe; eventuell müsse sie im Rahmen der Schulung am Lernstudio Y._ "die Kosten für die notwendige Hochbegabtenförderung zuzüglich Lateinunterricht" übernehmen. Zur Begründung liess X._ im Wesentlichen vortragen, durch die angefochtene Verfügung, die bloss für einen beschränkten Zeitraum von gut zwei Monaten und - unter explizitem Ausschluss des Lateinunterrichts - lediglich für eine Schulung auf Sek. A-Niveau Kostengutsprache leiste, werde er in seiner schulischen Entwicklung in unzulässiger Weise diskriminiert. C. Wenige Wochen später, am 30. Juni 2011, erliess das Ressort Schülerbelange der Schule Thalwil den folgenden Beschluss: "1. Für die Sonderschulung von X._ in der 2. Klasse Z._ im Lernstudio Y._ wird für das Schuljahr 2011/2012 Kostengutsprache in der Höhe von Fr. 29'040 für die Tagesschule und Fr. 19'305 für die Einzellektionen geleistet. 2. Die Schulung gemäss Ziff. 1 vorstehend beinhaltet 5 Einzellektionen pro Woche. Kosten für Lateinstunden werden von der Schule Thalwil nicht übernommen. (...)." Auch hiegegen erhob X._ das offen stehende Rechtsmittel, und zwar am 13. Juli 2011 Einsprache bei der Schulpflege Thalwil, verbunden mit einem Sistierungsantrag und denselben Begehren wie im Rekurs vom 10. Juni 2011 an den Bezirksrat Horgen. Gleichentags fragte er die Schulgemeinde Thalwil an, ob diese nicht bereit wäre, die Kosten für die Schulung am Freien Gymnasium Zürich zu übernehmen. Dieses besucht er seit Beginn des Schuljahres 2011/12. D. Mit Beschluss vom 3. August 2011 schrieb der Bezirksrat Horgen den Rekurs von X._ vom 10. Juni 2011 gegen die Verfügung der Schulpflege Thalwil vom 10. Mai 2011 (vorne lit. B) als gegenstandslos ab und auferlegte den Eltern die Verfahrenskosten in der Höhe von insgesamt Fr. 722.--. Zur Begründung führte der Bezirksrat im Wesentlichen aus, durch die Befristung der angefochtenen Verfügung sei das aktuelle und praktische Rechtsschutzinteresse an der Behandlung des Rechtsmittels dahingefallen. X._ habe das Schuljahr 2010/11 beendet; und es bestehe ein neuer Beschluss (vom 30. Juni 2011) für das Schuljahr 2011/12, der angefochten werden könne und auch angefochten worden sei (vgl. vorne lit. C). Was die Kostenverlegung betrifft, erwog der Bezirksrat, nach summarischer Prüfung der Angelegenheit sei davon auszugehen, dass der Rekurs nicht durchgedrungen wäre, weshalb die Eltern von X._ die Verfahrenskosten zu tragen hätten. Die hiegegen am 13. September 2011 erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zürich am 5. Oktober 2011 ab, soweit es darauf eintrat. Auch das Verwaltungsgericht auferlegte den Eltern die Kosten des Verfahrens, und zwar in der Höhe von insgesamt Fr. 2'060.--. E. Mit Eingabe vom 14. November 2011 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht mit den Anträgen, das letztgenannte Urteil aufzuheben (Ziff. I) und das "Verwaltungsgericht zu verpflichten, materiell auf die Beschwerde vom 13. September 2011 einzutreten" (Ziff. II). Sodann sei ihm - dem Beschwerdeführer - die unentgeltliche Rechtspflege nach Art. 10 des Behindertengleichstellungsgesetzes zu gewähren (Ziff. III), und die Gemeinde Thalwil sei zu verpflichten, ihm eine angemessene Parteientschädigung auszurichten (Ziff. IV). Die Gemeinde Thalwil beantragt, die Beschwerde abzuweisen. Der Bezirksrat Horgen und das Verwaltungsgericht des Kantons Zürich verzichten auf Vernehmlassung. 