Sachverhalt: A. Dem seit 10. Januar 1995 verwitweten M._ wurde ab Januar 1997 eine ordentliche Witwerrente der Alters- und Hinterlassenenversicherung ausgerichtet, nachdem diese Leistung im Rahmen der 10. AHV-Revision neu eingeführt worden war (Verfügung der Ausgleichskasse des Kantons Zürich vom 13. Juni 1997 [nachfolgend: Ausgleichskasse]). Im Februar 2009 teilte die Gemeindeverwaltung X._ den AHV-Behörden mit, dass sich der Versicherte bereits am 15. Juni 2001 wieder verheiratet hatte. Daraufhin verfügte die Ausgleichskasse am 14. April 2009 die rückwirkende Aufhebung der Witwerrente ab Juli 2001 und forderte gleichzeitig die unrechtmässig bezogenen Rentenbetreffnisse ab Mai 2004 im Gesamtbetrag von Fr. 20'192.- von M._ zurück. Dieser stellte am 19. April 2009 ein Gesuch um Erlass der Rückforderung. Er verwies auf die Kopie eines vom 7. Februar 2002 datierten Schreibens an die Ausgleichskasse, worin die Wiederverheiratung angezeigt wird. Mit Verfügung vom 25. Januar 2010 und Einspracheentscheid vom 28. Juni 2010 lehnte die Kasse das Erlassgesuch mangels guten Glaubens beim Bezug der zu Unrecht ausgerichteten Witwerrente ab. Weder sei das geltend gemachte Schreiben vom 7. Februar 2002 bei der Ausgleichskasse aktenkundig, noch habe M._ einen diesbezüglichen Versandnachweis vorgelegt, weshalb von einer (zumindest) grobfahrlässigen Verletzung der Meldepflicht auszugehen sei. B. Das Sozialversicherungsgericht des Kantons Zürich hiess die gegen den Einspracheentscheid erhobene Beschwerde mit Entscheid vom 2. November 2011 gut, bejahte den guten Glauben und wies die Sache zur Prüfung der weiteren Erlassvoraussetzung der grossen Härte an die Ausgleichskasse zurück. C. Die Ausgleichskasse führt Beschwerde ans Bundesgericht mit dem Antrag auf Aufhebung des vorinstanzlichen Entscheids. M._ schliesst sinngemäss auf Abweisung der Beschwerde. Kantonales Gericht und Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung. 