Sachverhalt: A. N._ war seit ... Mitglied des Verwaltungsrates, vom ... bis ... Delegierter mit Kollektivunterschrift zu zweien, der Firma X._. Die Firma war der Ausgleichskasse Schwyz angeschlossen. Am ... wurde über die Gesellschaft der Konkurs eröffnet und danach im summarischen Verfahren durchgeführt. Am ... erfolgte die Auflage des Kollokationsplanes samt Lastenverzeichnis und Inventar. Am ... wurde der Konkurs geschlossen. Die von der Ausgleichskasse eingegebene Forderung u.a. für nicht oder zu wenig bezahlte Sozialversicherungsbeiträge des Bundes sowie nach kantonalem Recht für 2001 und 2002 blieb bis auf eine Konkursdividende von Fr. 3'163.15 ungedeckt. Mit Verfügung vom 20. September 2004 forderte die Ausgleichskasse von N._ Schadenersatz in der Höhe von Fr. 59'248.45. Mit Einspracheentscheid vom 28. Januar 2008 bestätigte sie die Schadenersatzpflicht in der verfügten Höhe. B. Die Beschwerde des N._ wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 17. April 2008 ab. C. N._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der Entscheid vom 17. April 2008 und demzufolge die Schadenersatzverfügung vom 20. September 2004 seien aufzuheben. Die Ausgleichskasse beantragt die Abweisung der Beschwerde. Kantonales Gericht und Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung. 