Sachverhalt: A. Die Bausektion des Stadtrates Zürich erteilte der Y._ am 24. März 2010 die Baubewilligung für die Aufstockung des zum Wohnhaus ("Pfarrhaus") gehörenden Pavillons und für weitere bauliche Massnahmen auf dem Grundstück Kat.-Nr. HG5077 an der Z._strasse in Zürich 10-Höngg. B. Dagegen gelangte der Nachbar X._ an die Baurekurskommission I und beantragte die Aufhebung der Bewilligung für die Aufstockung des Pavillons. Die Baurekurskommission I hiess den Rekurs am 1. Oktober 2010 teilweise gut und ergänzte den Beschluss der Bausektion mit einer Nebenbestimmung, wonach die Bauherrschaft vor Baubeginn abgeänderte Pläne über die eingeschossige Ausgestaltung der Passerelle zwischen Wohnhaus und Pavillon einzureichen und bewilligen zu lassen habe. Im Übrigen wurde der Rekurs abgewiesen. C. X._ reichte hierauf Beschwerde beim Verwaltungsgericht des Kantons Zürichs ein und verlangte die Aufhebung des Rekursentscheids, soweit der Rekurs abgewiesen worden war. Das Verwaltungsgericht wies die Beschwerde am 23. März 2011 ab. D. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 23. Mai 2011 beantragt X._ dem Bundesgericht die Aufhebung des angefochtenen Urteils und damit der Baubewilligung vom 24. März 2010. Eventualiter seien die Prozessakten zur weiteren Behandlung im Sinne der Erwägungen sowie zur Neuverlegung der Gerichtskosten und Entschädigungen für das vorangegangene Verfahren an die Vorinstanz zurückzuweisen. Gleichzeitig ersucht der Beschwerdeführer um Gewährung der aufschiebenden Wirkung. Die Y._ als Bauherrin und damit private Beschwerdegegnerin äussert sich zur bisherigen und neuen Nutzung ihrer Liegenschaft. Die Bausektion der Stadt Zürich und das kantonale Verwaltungsgericht schliessen je auf Abweisung der Beschwerde, soweit darauf eingetreten werden könne. Der Beschwerdeführer hält daraufhin sinngemäss an seinen Anträgen fest. E. Der Präsident der I. öffentlich-rechtlichen Abteilung hat der Beschwerde mit Verfügung vom 15. Juni 2011 die aufschiebende Wirkung zuerkannt. 