Sachverhalt: A. Die Gemeinde A._ unterstützte Z._ (geb. xxxx 1965) während einer gewissen Zeit mit Mitteln der Sozialhilfe. Z._ ist die Tochter von X._ (geb. xxxx 1932). X._ ist Rechtsanwalt und Generalsekretär des Vereins Y._ und wohnt in einer eigenen Liegenschaft in B._. B. Mit Klage vom 16. März 2007 an das Bezirksgericht Uster verlangte die Gemeinde A._ von X._ für die Zeit vom 1. August 2005 bis 31. Juli 2006 eine Summe von Fr. 24'400.-- und ab 1. August 2006 einen monatlichen Beitrag von Fr. 1'997.20 unter dem Titel der Verwandtenunterstützung. Mit Urteil vom 21. September 2009 hiess das Bezirksgericht die Klage teilweise gut und verpflichtete X._, der Gemeinde A._ rückwirkend ab 1. Januar 2007 monatliche Unterstützungsbeiträge von Fr. 1'997.20 zu bezahlen. C. Gegen dieses Urteil erklärte X._ Berufung und verlangte die Abweisung der Klage. In der Berufungsantwort schränkte die Gemeinde A._ ihr Rechtsbegehren ein und verlangte nunmehr die Rückerstattung der für Z._ in der Zeit vom 1. Januar 2007 bis 31. Dezember 2009 geleisteten Unterstützungsbeiträge im Gesamtbetrag von Fr. 35'153.30. Die Gemeinde A._ begründete die Änderung damit, dass ihr Z._ mitgeteilt habe, ab 1. Januar 2010 keine Sozialhilfe mehr zu benötigen. Sie (die Gemeinde) habe in der Folge die Sozialhilfeleistungen an Z._ eingestellt. Mit Beschluss vom 1. Dezember 2010 schrieb das Obergericht des Kantons Zürich die Klage als durch Rückzug erledigt ab, soweit sie sich auf die Zeit nach dem 31. Dezember 2009 bezogen hatte. Es verpflichtete X._, der Gemeinde A._ für die in der Zeit vom 1. Januar 2007 bis 31. Dezember 2009 erbrachten Unterstützungsleistungen Fr. 35'153.30 zu bezahlen. D. Gegen diesen Beschluss erhob X._ am 23. Dezember 2010 Nichtigkeitsbeschwerde an das Kassationsgericht des Kantons Zürich. Soweit er sich dagegen wandte, in günstigen Verhältnissen gemäss Art. 328 Abs. 1 ZGB zu leben, trat das Kassationsgericht auf die Beschwerde mit Zirkulationsbeschluss vom 27. Dezember 2011 nicht ein, da es sich um eine vom Bundesgericht zu prüfende Rechtsfrage handle. E. Gegen den Beschluss des Obergerichts vom 1. Dezember 2010 hat X._ (Beschwerdeführer) am 2. Februar 2012 Beschwerde in Zivilsachen erhoben. Er beantragt die Aufhebung des angefochtenen Beschlusses und die Abweisung der Klage der Gemeinde A._ (Beschwerdegegnerin). Zur Neuregelung der Kosten- und Entschädigungsfolgen sei die Sache an das Obergericht zurückzuweisen. Das Bundesgericht hat die Akten beigezogen, aber keine Vernehmlassungen eingeholt. 