Sachverhalt: A. Der 1952 geborene V._ war von April 1998 bis 31. Januar 2002 als Biegereimitarbeiter bei der X._ AG tätig und bei der Winterthur-Columna Stiftung für die berufliche Vorsorge (heute: AXA Stiftung Berufliche Vorsorge; im Folgenden: AXA) für die berufliche Vorsorge versichert. Mit Unfallmeldung vom 27. März 2001 liess V._ der Schweizerischen Unfallversicherungsanstalt (SUVA) mitteilen, er habe sich am 6. Dezember 2000 bei einem Sturz am linken Arm verletzt. Die SUVA erbrachte vom 14. Dezember 2000 bis 7. September 2001 die gesetzlichen Leistungen. Am 28. November 2001 kündigte die Arbeitgeberfirma auf den 31. Januar 2002 infolge Aufgabe des Betriebsstandortes das Anstellungsverhältnis mit dem Versicherten. Ab 1. Februar 2002 bezog dieser Taggelder der Arbeitslosenversicherung, bis die Arbeitslosenkasse mit Verfügung vom 3. Juli 2002 die Anspruchsberechtigung ab 26. Juni 2002 verneinte, weil V._ voll arbeitsunfähig sei. Am 23. Dezember 2003 meldete sich V._ bei der Invalidenversicherung zum Leistungsbezug an. Gestützt auf Abklärungen in medizinischer und erwerblicher Hinsicht ermittelte die IV-Stelle Thurgau einen Invaliditätsgrad von 73 %. Demgemäss sprach sie dem Versicherten rückwirkend auf 1. Mai 2003 eine ganze Invalidenrente zu (Verfügung vom 22. Februar 2005). B. Nachdem sich die AXA in der Folge geweigert hatte, V._ Invalidenleistungen aus der beruflichen Vorsorge auszurichten, liess dieser beim Sozialversicherungsgericht des Kantons Zürich mit Klage vom 9. März 2010 zur Hauptsache beantragen, die AXA sei zu verpflichten, ihm ab 1. Juni 2004 gestützt auf einen Invaliditätsgrad von 73 % die gesetzlichen und reglementarischen Invalidenleistungen aus der beruflichen Vorsorge zu gewähren. Mit Verfügung vom 15. November 2010 lud das Sozialversicherungsgericht des Kantons Zürich die Stiftung Auffangeinrichtung BVG zum Prozess bei. Mit Entscheid vom 30. November 2011 wies es die Klage ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt der Versicherte das vorinstanzlich gestellte Rechtsbegehren erneuern; eventuell sei die Sache zu weiteren Sachverhaltsabklärungen an das kantonale Gericht zurückzuweisen. Während die AXA auf Abweisung der Beschwerde schliesst, verzichten die zum Verfahren beigeladene Stiftung Auffangeinrichtung BVG und das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. 