Sachverhalt: A. A.a Die Firma X._ wurde 1990 gegründet. Sie war der Ausgleichskasse des Kantons Zürich angeschlossen. Im Juli 2003 wurde der Sitz nach Y._ verlegt und die Firma umfirmiert in B._. Zweck der Gesellschaft war das Verlegen von und der Handel mit Holzparkett, Teppich- und PVC-Belägen. Seit der Gründung der Gesellschaft gehörte E._ dem Verwaltungsrat an, wobei er von 1990 bis 1993 und 1994 bis 2002 als Präsident amtierte. Seit 1993 war er auch Geschäftsführer. Alle Funktionen übte er bis zu seinem Rücktritt im August 2002 mit Einzelunterschrift aus. Am ... Dezember 2003 wurde über die Gesellschaft der Konkurs eröffnet und das Verfahren am ... Mai 2004 mangels Aktiven eingestellt. Am ... Juni 2004 ergingen erste Pfändungsverlustscheine und im September 2004 wurde die Gesellschaft im Handelsregister gelöscht. A.b Mit Verfügung vom 16. August 2005 forderte die Ausgleichskasse von E._ als ehemaligem Verwaltungsratspräsidenten und Geschäftsführer der Firma X._ gestützt auf Art. 52 AHVG und unter solidarischer Haftbarkeit mit den ehemaligen Verwaltungsräten S._ und L._ Schadenersatz für entgangene Sozialversicherungsbeiträge der Jahre 1998 bis 2003. Die Forderung von Fr. 430'040.15 setzte sich zusammen aus unbezahlt gebliebenen paritätischen Lohnbeiträgen und solchen an die kantonale Familienausgleichskasse sowie aus Verwaltungskosten, Verzugszinsen und Gebühren. Dazu wurde auf eine Beitragsübersicht verwiesen. A.c Die von E._ erhobene Einsprache mit dem Antrag auf ersatzlose Aufhebung der Verfügung hiess die Ausgleichskasse mit Entscheid vom 23. Januar 2006 teilweise gut und reduzierte die Schadenersatzforderung mit der Begründung, der Einsprecher habe sein Mandat nur bis zum 19. August 2002 ausgeübt, auf Fr. 367'002.60 B. B.a E._ erhob Beschwerde beim Sozialversicherungsgericht des Kantons Zürich und beantragte die Aufhebung des Einspracheentscheides; es sei festzustellen, dass er keinen Schadenersatz nach Art. 52 AHVG zu leisten habe. Zur Begründung wandte er nebst anderem ein, die Ausgleichskasse habe die Schadenersatzforderung so weit zu substanziieren, dass sie überprüft und bestritten werden könne. Auch die Reduktion der Forderungssumme auf Fr. 367'002.60 sei nicht nachvollziehbar. Da die Beiträge für 2002 gesamthaft erst nach seinem Rücktritt fällig geworden seien, hafte er hierfür ohnehin nicht. Des weiteren rügte er, die bezahlten Beiträge seien nicht immer auf die Ausstände angerechnet worden, für die sie bestimmt gewesen seien. Es sei ihm unmöglich, die verbliebene Forderung von Fr. 367'002.60 hinsichtlich Eintritt von Verjährung und Verwirkung zu überprüfen. Da die Forderung bis ins Jahr 1998 zurückreiche, komme dieser Frage indes besondere Bedeutung zu. Zwar sei die Gesellschaft seit 1993 wegen Beitragsausständen regelmässig betrieben worden, jedoch habe die Ausgleichskasse dann weitere Betreibungshandlungen unterlassen; deshalb sei von einem groben Selbstverschulden auszugehen, das zu einer massiven Haftungsreduktion, wenn nicht zu derem Ausschluss führen müsse. Ihm selber könne nicht der Vorwurf der Grobfahrlässigkeit gemacht werden, da die Gesellschaft über vierzig Personen beschäftigt habe und eine solche Grösse eine Aufteilung der anfallenden Arbeiten verlange. Er habe sich um den Aussendienst gekümmert und die administrativen Arbeiten C._ übertragen. Zwar seien ihm Unregelmässigkeiten bei der AHV-Beitragszahlung aufgefallen. Er sei aber davon ausgegangen, dass die Gesellschaft die Probleme bewältigen könne. Ab 2002 habe ausschliesslich C._ mit der Ausgleichskasse verhandelt. Er selbst habe annehmen dürfen, dass dieser seinen Pflichten nachkomme. Die Revisionsstelle habe die Beitragsausstände auch nicht in der Bilanz verbucht. B.b Mit Beschluss vom 31. März 2006 entschied das Sozialversicherungsgericht des Kantons Zürich, soweit die Beschwerde kantonalrechtliche Sozialversicherungsbeiträge und darauf geschuldete Nebenkosten betreffe, werde das Verfahren abgetrennt und selbstständig im Kanton Zürich weitergeführt; betreffe die Beschwerde aber Schadenersatz für bundesrechtliche Sozialversicherungsbeiträge, sei mangels örtlicher Zuständigkeit nicht darauf einzutreten. Es überwies die Akten dem Verwaltungsgericht des Kantons Zug zur Beurteilung und lud dieses ein, sie nach der Entscheidfällung zu retournieren, damit die Beschwerde hinsichtlich der kantonalrechtlichen Sozialversicherungsbeiträge beurteilt werden könne. B.c Soweit darauf einzutreten war, wies das Verwaltungsgericht des Kantons Zug die Beschwerde mit Entscheid vom 23. September 2008 ab. C. E._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der Entscheid des Verwaltungsgerichts des Kantons Zug und der Einspracheentscheid der Ausgleichskasse des Kantons Zürich seien aufzuheben und es sei festzustellen, dass er keinen Schadenersatz nach Art. 52 AHVG zu leisten habe; eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen; der Beschwerde sei die aufschiebende Wirkung zu erteilen. Mit Verfügung vom 12. Dezember 2008 teilte das Bundesgericht der Ausgleichskasse mit, Stillschweigen in der Vernehmlassung zum Gesuch um aufschiebende Wirkung werde als Einverständnis ausgelegt und Vollziehungsvorkehrungen hätten vorerst zu unterbleiben. In der Vernehmlassung beantragt die Vorinstanz die Abweisung der Beschwerde; die Ausgleichskasse und das Bundesamt für Sozialversicherungen verzichten auf Stellungnahme. 