Sachverhalt: Mit Verfügung vom 13. Oktober 2000 verpflichtete die Ausgleichskasse des Kantons Zug R._, Verwaltungsratsmitglied der in Konkurs gefallenen Firma X._ AG, für nicht mehr erhältliche Sozialversicherungsbeiträge zuzüglich Verzugszinsen, Mahngebühren und Betreibungskosten in solidarischer Haftung mit L._ und P._ Schadenersatz im Umfang von Fr. 102'946.05 zu leisten. Auf Einspruch aller Genannten hin klagte die Kasse auf Bezahlung des erwähnten Betrages. Mit Entscheid vom 21. Mai 2003 hiess das Verwaltungsgericht des Kantons Zug die Klage insoweit gut, als es die drei Belangten unter solidarischer Haftbarkeit zur Bezahlung von Fr. 97'155.70 verurteilte. R._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, es seien der kantonale Entscheid aufzuheben und die Klage der Kasse abzuweisen. Eventuell sei die Sache zur Neuberechnung der Schadenersatzforderung an die Ausgleichskasse zurückzuweisen. Während das Verwaltungsgericht des Kantons Zug und die Kasse auf Abweisung der Verwaltungsgerichtsbeschwerde schliessen, verzichten die als Mitinteressierte beigeladenen L._ und P._ sowie das Bundesamt für Sozialversicherung auf eine Vernehmlassung. 