Sachverhalt: A. Die Firma X._ AG mit Sitz in Y._ war der Ausgleichskasse des Schweizerischen Baumeisterverbandes angeschlossen. Am .... wurde über die Gesellschaft der Konkurs eröffnet. In diesem kam die Ausgleichskasse mit Fr. 124'579.35 (Fr. 167'390.05 [vom Konkursamt zugelassener Forderungsbetrag] - Fr. 42'810.70 [Konkursdividende]) zu Verlust. Mit Verfügungen vom 25. November 2005 verpflichtete sie S._, M._ und E._ als ehemalige Verwaltungsräte der konkursiten Firma zur Bezahlung von Schadenersatz für nicht oder zu wenig bezahlte Sozialversicherungsbeiträge in den Jahren 2001 bis 2003. Mit Einspracheentscheid vom 13. Januar 2006 bestätigte die Ausgleichskasse die Schadenersatzpflicht von S._ in der verfügten Höhe von Fr. 124'397.60. Mit Einspracheentscheid vom 3. Februar 2006 reduzierte sie den M._ betreffenden Forderungsbetrag auf Fr. 88'365.65. B. Das Sozialversicherungsgericht des Kantons Zürich wies die dagegen erhobene Beschwerde des S._ ab. Die Beschwerde des M._ hiess es in dem Sinne teilweise gut, dass es in Änderung des Einspracheentscheides vom 3. Februar 2006 die Schadenersatzsumme auf Fr. 84'644.65 reduzierte (Entscheid vom 30. November 2007). C. M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der Entscheid vom 30. November 2007, soweit ihn betreffend, sei aufzuheben und der Einspracheentscheid vom 3. Februar 2006 sei dahingehend zu ändern, dass er zur Zahlung von Schadenersatz in der Höhe von Fr. 72'229.55 verpflichtet werde. Die Verbandsausgleichskasse beantragt, der kantonale Entscheid sei zu bestätigen. Kantonales Gericht und Bundesamt für Sozialversicherungen äussern sich nicht zur Beschwerde. Die als Mitinteressierte zum Verfahren beigeladenen S._ und E._ haben sich nicht vernehmen lassen. 