Sachverhalt: Mit Verfügungen vom 26. Juli 2010 sprach die IV-Stelle Luzern M._ vom 1. August 2007 bis 30. September 2008 und wiederum ab 1. September 2009 eine ganze Invalidenrente zu. Die daraufhin von M._ gegen die Zuger Pensionskasse eingereichte Klage vom 7. September 2011 hiess das Verwaltungsgericht des Kantons Zug mit Entscheid vom 15. Dezember 2011 insofern gut, als die Beklagte dem Kläger - vorbehältlich der Überentschädigungsberechnung und der Sistierung der Leistung für die Zeit, in welcher IV-Taggelder flossen - ab 1. August 2007 eine volle Invalidenrente zuzüglich Verzugszins von 5 % ab 7. September 2011 auszurichten hat. Im Übrigen wies es die Klage ab (Ziff. 1 des Dispositivs). M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, Ziffer 1 des vorinstanzlichen Entscheides sei insofern aufzuheben, als ein Anspruch auf Verzugszins vom 1. August 2009 (Datum mittlerer Verfall) bis 6. September 2011 verneint worden ist, unter Verpflichtung der Beklagten zur Bezahlung eines Verzugszinses von 5 % für diesen Zeitraum. Die Zuger Pensionskasse schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten ist. Das kantonale Gericht beantragt ebenfalls die Abweisung der Beschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet. 