Sachverhalt: A. Der 1937 geborene H._ ist bei der Ausgleichskasse des Kantons St. Gallen als selbstständig Erwerbender erfasst. Er verkaufte seinen als Einzelfirma geführten Betrieb auf den 1. Juli 2003. In diesem Zusammenhang traf er mit dem Käufer u.a. die Vereinbarung vom 16. Dezember 2002 betreffend "Know-how-Transfer und Gewährung technischer Hilfe", worin er sich gegen Bezahlung von Fr. 1'800'000.-, zahlbar in zehn Jahresraten zu Fr. 180'000.-, zur Übertragung von Markenrechten und zur Beratung während einer Einführungsphase von mindestens zweieinhalb Jahren verpflichtete. Im Hinblick auf die Veräusserung seines Unternehmens hatte er die Angelegenheit zur Beurteilung der steuerlichen Situation dem kantonalen Steueramt unterbreitet. Dieses sicherte u.a. in Bezug auf die genannte Vereinbarung zu, dass die Besteuerung jährlich aufgrund der Zahlungen des Käufers im Jahr des Zahlungseingangs erfolgt. Vorgesehen seien ab dem Jahr 2004 bis zum Jahr 2013 jährliche Zahlungen von Fr. 180'000.-, wobei sie sich aufgrund wirtschaftlicher Veränderungen auch verschieben könnten. Diese Vergütungen würden zusammen mit den übrigen Einkünften im betreffenden Jahr des Zahlungseinganges besteuert. In der Folge erstattete die Steuerbehörde darüber der Ausgleichskasse keine Meldung. Im Rahmen einer Arbeitgeberkontrolle beim Käufer des Unternehmens erfuhr die Ausgleichskasse von der Vereinbarung betreffend "Know-how-Transfer und Gewährung technischer Hilfe". Mit Verfügungen vom 23. Juni 2009 erhob sie von H._ für die Jahre 2004 bis 2006 "Beiträge für Selbstständigerwerbende" von je Fr. 17'472.-, wobei sie jeweils nebst einem Betrag von Fr. 18'000.- aus der Auflösung von Rückstellungen die erwähnte Jahresrate von Fr. 180'000.- als beitragspflichtiges Einkommen betrachtete. Daran hielt sie mit Einspracheentscheid vom 30. August 2010 fest. B. Die Beschwerde des H._ wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 2. November 2011 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt H._ beantragen, der Entscheid vom 2. November 2011 sei aufzuheben und es sei für eine Beitragserhebung für die Jahre 2004 bis 2006 von der Basis eines Jahreseinkommens von Fr. 18'000.- auszugehen; eventualiter sei der angefochtene Entscheid an die Verwaltung zur Neubeurteilung zurückzuweisen; subeventualiter sei der angefochtene Entscheid an das Versicherungsgericht zur Neubeurteilung zurückzuweisen. Die Ausgleichskasse hat keine Stellungnahme eingereicht. Das kantonale Gericht und das Bundesamt für Sozialversicherungen haben auf eine Vernehmlassung verzichtet. 