Sachverhalt: A. G._ war ab 8. September 2003 bei der X._ AG angestellt. Wegen Rückenbeschwerden arbeitete er ab 4. August 2004 nicht mehr und bezog Krankentaggelder. Im Januar 2005 meldete sich G._ bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 4. März 2010 sprach ihm die IV-Stelle Basel-Stadt ausgehend von einer ab Juni 2006 bestehenden Arbeitsunfähigkeit eine Dreiviertelsrente samt drei Kinderrenten zu. Daraufhin ersuchte G._ die BVG-Sammelstiftung Swiss Life, bei welcher er im Rahmen seiner Anstellung bei der X._ AG berufsvorsorgeversichert gewesen war, um Invalidenleistungen, was diese jedoch ablehnte (Schreiben vom 16. Juli 2010). B. Am 26. Oktober 2010 liess G._ beim Sozialversicherungsgericht des Kantons Basel-Stadt Klage einreichen mit dem Rechtsbegehren, die Swiss Life AG BVG Sammelstiftung sei zu verpflichten, ihm gestützt auf einen Invaliditätsgrad von 68 % eine volle, reglementarische sowie indexierte Rente mit Wirkung ab Juni 2007 von monatlich Fr. 1'468.60 sowie drei Kinderrenten von jeweils monatlich Fr. 293.70, beides zuzüglich Verzugszins von 5 % zu bezahlen; weiter sei ihm mit Wirkung ab April 2005, eventualiter ab Oktober 2006, eine Prämienbefreiung zu gewähren. Mit Entscheid vom 21. September 2011 wies das angerufene Gericht die Klage ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt G._ das im vorinstanzlichen Verfahren gestellte Rechtsbegehren erneuern, eventualiter die Rückweisung der Sache an die Vorinstanz zur weiteren Abklärung beantragen, unter Aufhebung des Entscheids vom 21. September 2011. 