Sachverhalt: A. Die X._ AG war der Ausgleichskasse Gewerbe St. Gallen als beitragspflichtige Arbeitgeberin angeschlossen. Entsprechend den Eintragungen im Handelsregister war M._ seit 12. Mai 2004 einziges Mitglied des Verwaltungsrates. Über die Gesellschaft wurde im Oktober 2006 der Konkurs eröffnet; im Juli 2007 wurde das Verfahren als geschlossen erklärt. Mit Verfügung vom 11. September 2008 verpflichtete die Ausgleichskasse Gewerbe St. Gallen M._ zur Bezahlung von Schadenersatz für entgangene bundes- und kantonalrechtliche Beiträge in der Höhe von Fr. 107'527.35. Daran hielt sie mit Einspracheentscheid vom 19. Mai 2010 fest. B. Das als Beschwerde (betreffend bundesrechtliche Schadenersatzforderung) und Rekurs (betreffend kantonalrechtliche Schadenersatzforderung) entgegengenommene Rechtsmittel des M._ wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 8. Juni 2012 ab. C. M._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen, der Entscheid vom 8. Juni 2012 sei aufzuheben und es sei festzustellen, dass er der Ausgleichskasse keinen Schadenersatz zu bezahlen habe. Die Ausgleichskasse schliesst auf Abweisung der Beschwerde. Das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Stellungnahme. D. Mit Verfügung vom 14. Dezember 2012 hat die Instruktionsrichterin der Beschwerde aufschiebende Wirkung zuerkannt. 