Sachverhalt: A. Der 1948 geborene B._ arbeitete seit 1993 als Lehrer und war in dieser Eigenschaft bei der BVK Personalvorsorge des Kantons Zürich (nachfolgend: BVK) berufsvorsorgeversichert. Im Rahmen einer Teilentlassung aus gesundheitlichen Gründen wurde seine Restarbeitsfähigkeit ab 1. Januar 2010 auf 17 Wochenlektionen, d.h. 65,38 % eines Vollpensums festgelegt (Schreiben und Verfügung des Volksschulamtes vom 27. November 2009). Dementsprechend richtete die BVK B._ bei einer Berufsinvalidität von 34,62 % ab 1. Januar 2010 eine Invalidenrente von Fr. 1839.80 im Monat aus (Mitteilung vom 13. Januar 2010). Gleichzeitig wurde ihm ein Überbrückungszuschuss zur Berufsinvalidenrente in der Höhe von monatlich Fr. 427.50 zugesprochen, welcher einem Viertel des höchstmöglichen Zuschusses entsprach. Der Versicherte ersuchte die BVK vergeblich um Ausrichtung eines höheren Überbrückungszuschusses. B. Am 8. Juni 2010 reichte B._ beim Sozialversicherungsgericht des Kantons Zürich Klage gegen den Kanton Zürich ein mit dem Begehren, es sei ihm ein Überbrückungszuschuss in der Höhe seines Berufsinvaliditätsgrades zuzusprechen, einschliesslich Zins ab Klageeinreichung. Das Sozialversicherungsgericht hiess die Klage mit Entscheid vom 5. Dezember 2011 vollumfänglich gut und verpflichtete den Kanton Zürich, dem Versicherten ab 1. Januar 2010 einen Überbrückungszuschuss von 34,62 % zu leisten ("abzüglich der für die nämlichen Zeitperioden bereits ausgerichteten Zuschüsse, zuzüglich Zins zu 5 % auf den nachzuzahlenden Betreffnissen ab dem 8. Juni 2010"). C. Der Kanton Zürich, vertreten durch die Finanzdirektion, diese vertreten durch die BVK, führt Beschwerde ans Bundesgericht mit dem sinngemässen Antrag auf Aufhebung des vorinstanzlichen Entscheids und Abweisung der Klage. Während B._ auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. 