Sachverhalt: A. Der 1952 geborene P._ erlitt am ..... einen Auffahrunfall. Für die gesundheitlichen und erwerblichen Folgen dieses Ereignisses bezog er (bis Ende 2004) Leistungen der obligatorischen Unfallversicherung (Heilbehandlung, Taggeld). Mit Verfügung vom 2.März 2005 sprach ihm die IV-Stelle des Kantons Zürich rückwirkend ab 1. Juni 2001 eine ganze Invalidenrente zu. Nach revisionsweiser Bestätigung des Rentenanspruchs (Mitteilung vom 12. Juli 2007) setzte die IV-Stelle mit Verfügung vom 22. April 2010 die Rentenleistungen mit sofortiger Wirkung aus. Mit Entscheid vom 30. Juni 2010 hob das Sozialversicherungsgericht des Kantons Zürich die Verfügung ersatzlos auf. P._ war im Zeitpunkt des Unfalles bei der Personalversicherung der Firma X._ berufsvorsorgeversichert. Diese richtete ihm ab 1. Mai 2005 Invaliditätsleistungen von monatlich Fr. 1'191.35 aus. Aufgrund der Ergebnisse einer von ihr angeordneten Überwachung stellte sie ihre Zahlungen auf Ende Mai 2006 ein. B. Am 13. April 2006 liess P._ beim Sozialversicherungsgericht des Kantons Zürich Klage gegen die Personalversicherung der Firma X._ erheben und zur Hauptsache beantragen, die Beklagte sei zu verpflichten, ihm ab 1. Januar 2005 nebst der bereits anerkannten obligatorischen monatlichen Invalidenrente von Fr. 1'191.35 auch die überobligatorische Rente zu bezahlen und die noch ausstehenden obligatorischen Leistungen rückwirkend für die Monate Januar bis und mit April 2005 auszurichten. Nach Klageantwort mit widerklageweise geltend gemachter Rückforderung und zweitem Schriftenwechsel bei zwischenzeitlicher Sistierung des Prozesses und Behandlung eines Ausstandsbegehrens führte das kantonale Gericht eine Instruktionsverhandlung durch, zog danach die UV- und IV-Akten bei und holte ein psychiatrisches Gutachten vom 14. Dezember 2010 ein, zu dem die Parteien Stellung nahmen. Mit Entscheid vom 17. August 2011 wies das kantonale Sozialversicherungsgericht Klage und Widerklage ab und auferlegte der Beklagten von den Kosten der gerichtlichen Begutachtung pauschal Fr.30'000.-. C. P._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der Entscheid vom 17. August 2011 sei aufzuheben und es sei festzustellen, dass er ab 1. Januar 2005 Anspruch auf eine Invalidenrente gemäss den gesetzlichen und reglementarischen Bestimmungen hat, zuzüglich Verzugszins von 5 %. Die Personalversicherung der Firma X._ beantragt die Abweisung der Beschwerde. Das kantonale Sozialversicherungsgericht und das Bundesamt für Sozialversicherungen haben auf eine Vernehmlassung verzichtet. 