Sachverhalt: A. X._ (geb. 1950) und Y._ (geb. 1963) heirateten im Mai 1985. Sie wurden Eltern von drei mittlerweile mündigen Kindern. Die Ehefrau ist gelernte Coiffeuse. Nach der Heirat übernahm sie die Betreuung des Haushalts und die Erziehung der Kinder. Seit Oktober 2004 arbeitet sie im Bereich der Pflege (anfangs in einem Pensum von 50%, anschliessend von 70% und seit dem Jahr 2006 von 60%). Der Ehemann ist in einem vollen Pensum als Lehrer tätig. Die Parteien leben seit dem 1. April 2006 getrennt. Die Folgen des Getrenntlebens regelten sie einvernehmlich in einer Trennungsvereinbarung. B. Mit Eingabe vom 26. Februar 2008 leitete die Ehefrau beim Bezirksgericht Zürich das Scheidungsverfahren ein. Das Bezirksgericht schied mit Urteil vom 23. April 2010 die Ehe, genehmigte die Teilvereinbarung der Parteien über die güterrechtliche Auseinandersetzung und regelte die weiteren Scheidungsfolgen. Insbesondere verpflichtete es X._ zu nachehelichen monatlichen Unterhaltsbeiträgen von Fr. 2'891.-- (ab Rechtskraft des Scheidungsurteils bis Ende 2011), Fr. 1'867.-- (Januar 2012 bis zu seinem ordentlichen Pensionsalter im Mai 2015) sowie Fr. 1'341.-- (Juni 2015 bis zum ordentlichen Pensionsalter von Y._, zurzeit Mai 2027). C. Gegen dieses Urteil erhob X._ am 5. Mai 2010 Berufung an das Obergericht des Kantons Zürich. Soweit den nachehelichen Unterhalt betreffend, verlangte er, es seien ihm ab Juni 2015 keine Unterhaltsbeiträge mehr aufzuerlegen. Die Unterhaltsbeiträge für die Zeit ab Rechtskraft des Scheidungsurteils bis Mai 2015 focht er nicht an. Mit Urteil vom 13. Mai 2011 reduzierte das Obergericht insbesondere die von X._ vom 1. Juni 2015 bis zum ordentlichen Pensionsalter von Y._ (zurzeit Ende Mai 2027) zu leistenden nachehelichen Unterhaltsbeiträge auf monatlich Fr. 765.--. D. Dem Bundesgericht beantragt X._ (nachfolgend Beschwerdeführer) in seiner Beschwerde in Zivilsachen vom 27. Juni 2011 die Aufhebung des obergerichtlichen Urteils soweit die nacheheliche Unterhaltsverpflichtung vom 1. Juni 2015 bis Ende Mai 2027 betreffend. Er verlangt, es seien ihm ab dem 1. Juni 2015 (und damit ab Erreichen seines Pensionsalters) keine Unterhaltsbeiträge mehr aufzuerlegen. Eventualiter seien die Unterhaltsbeiträge für diesen Zeitraum angemessen zu kürzen. Subeventualiter sei die Angelegenheit zu neuer Entscheidung an das Obergericht zurückzuweisen. Das Obergericht hat dem Bundesgericht die Vorakten zugestellt, auf eine Vernehmlassung aber verzichtet. Y._ (nachfolgend Beschwerdegegnerin) beantragt in ihrer Vernehmlassung vom 19. September 2011 die Abweisung der Beschwerde, soweit darauf einzutreten sei. 