Sachverhalt: A. Die im August 2000 gegründete Firma B._ AG war der Ausgleichskasse des Kantons Zug angeschlossen. Am .... wurde über die Gesellschaft der Konkurs eröffnet. Die Ausgleichskasse gab eine Forderung von Fr. 936'544.95 für unbezahlt gebliebene Sozialversicherungsbeiträge 2001 bis 2003 ein, von welcher Summe Fr. 787'651.55 ungedeckt blieben. Mit Verfügung vom 18. Februar 2008 forderte die Ausgleichskasse u.a. von S._, von Oktober 2000 bis 16. Januar 2003 Direktor mit Kollektivunterschrift zu zweien, und von T._, seit Ende September 2000 einziges Mitglied und ab Januar 2003 bis zu seinem Ausscheiden am 24. Februar 2003 Präsident des Verwaltungsrates mit Einzelunterschrift, in solidarischer Haftbarkeit Schadenersatz in der Höhe von Fr. 506'794.30. Mit Einspracheentscheid vom 5. März 2010 reduzierte sie die Forderung gegenüber S._ auf Fr. 495'276.80. B. S._ liess beim Verwaltungsgericht des Kantons Zug Beschwerde einreichen und beantragen, der Einspracheentscheid vom 5. März 2010 und die Verfügung vom 18. Februar 2008 seien aufzuheben. Nach Vernehmlassung der Ausgleichskasse und einem zweiten Schriftenwechsel erhielten die Parteien Gelegenheit, sich zum Urteil 9C_325/2010 vom 10. Dezember 2010, mit welchem T._ letztinstanzlich zur Bezahlung von Schadenersatz in der Höhe von Fr. 386'580.05 verpflichtet worden war, zu äussern. Mit Entscheid vom 17. März 2011 hiess die Sozialversicherungsrechtliche Kammer des Zuger Verwaltungsgerichts die Beschwerde teilweise gut und stellte fest, dass S._ der Ausgleichskasse Schadenersatz im Betrage von Fr. 108'696.75 schulde. C. S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der Entscheid vom 17. März 2011 sei aufzuheben und festzustellen, dass er keinen Schadenersatz schulde. Die Ausgleichskasse beantragt die Abweisung der Beschwerde. Das kantonale Gericht verzichtet unter Hinweis auf seine Ausführungen im angefochtenen Entscheid auf eine Stellungnahme und einen Antrag. Das Bundesamt für Sozialversicherungen hat sich nicht vernehmen lassen. 