Sachverhalt: A. Die Bank X._ (Beschwerdegegnerin) schloss am 13. Dezember 2004 mit der Y._ Holding AG (nachfolgend: Hauptschuldnerin) einen schriftlichen Darlehensvertrag über Fr. 3'000'000.--. Die Hauptschuldnerin als Darlehensnehmerin sicherte dabei der Beschwerdegegnerin zu, ihren vertraglichen Zins- und Rückzahlungsverpflichtungen nachzukommen, ohne allfällige Verrechnungsansprüche geltend zu machen. Der Darlehensvertrag wurde namens der Hauptschuldnerin von A._ (Beschwerdeführer) unterschrieben, dem einzigen Verwaltungsrat der Hauptschuldnerin. Dieser signierte den Vertrag eigens auch noch als Bürge, machte doch die Beschwerdegegnerin die Kreditzusage an die Hauptschuldnerin davon abhängig, dass er für die Rückzahlung des Darlehens im Umfang von Fr. 2'000'000.--, bzw. inkl. Zinsen bis maximal Fr. 2'400'000.--, solidarisch einstehen würde. Am 17. Dezember 2004 unterzeichnete der Beschwerdeführer separat die entsprechende schriftliche Bürgschaftserklärung, die öffentlich beurkundet wurde. Am 31. Januar 2006 kündigte die Beschwerdegegnerin das Darlehen wegen ausstehender Zinsen und verlangte von der Hauptschuldnerin die Rückzahlung bis zum 7. Februar 2006. Die Hauptschuldnerin kam dieser Aufforderung nicht nach. Am 29. Mai 2006 fiel sie in Konkurs. Das Konkursverfahren wurde am 13. Dezember 2006 mangels Aktiven eingestellt und die Gesellschaft am 5. April 2007 im Handelsregister gelöscht. Im Nachgang zum Konkurs der Hauptschuldnerin forderte die Beschwerdegegnerin den Beschwerdeführer zur Zahlung der von ihm verbürgten Darlehenssumme von Fr. 2'000'000.-- zuzüglich Zinsen in der Höhe von Fr. 183'805.55 auf. Der Beschwerdeführer leistete keine Zahlung. Die Beschwerdegegnerin betrieb den Beschwerdeführer daraufhin im entsprechenden Betrag von Fr. 2'183'805.55, worauf der Beschwerdeführer Rechtsvorschlag erhob. Am 10. September 2007 erteilte der Kantonsgerichtspräsident des Kantons Glarus provisorische Rechtsöffnung für die in Betreibung gesetzte Forderung. B. Der Beschwerdeführer klagte am 28. Januar 2008 beim Kantonsgericht Glarus auf Aberkennung der Forderung. Am 29. September 2009 wies das Kantonsgericht die Aberkennungsklage ab und sprach definitive Rechtsöffnung für den zwischenzeitlich um Fr. 30'000.-- auf Fr. 2'153'805.55 reduzierten Betrag aus. Gegen dieses Urteil erhob der Beschwerdeführer am 5. Januar 2010 Berufung an das Obergericht des Kantons Glarus. Dieses wies die Berufung mit Urteil vom 23. September 2011 ab und bestätigte das Urteil des Kantonsgerichts. C. Der Beschwerdeführer beantragt mit Beschwerde in Zivilsachen, das Urteil des Obergerichts aufzuheben und die Streitsache an das Kantonsgericht zur Beweisabnahme und Neubeurteilung zurückzuweisen. Die Beschwerdegegnerin und die Vorinstanz schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten sei, respektive auf Bestätigung des angefochtenen Entscheids. Der Beschwerdeführer reichte eine Replik ein. Mit Verfügung vom 30. November 2011 wurde das Gesuch des Beschwerdeführers um Erteilung der aufschiebenden Wirkung abgewiesen. 