A.- Mit Verfügungen vom 3. Februar 1997 verpflichtete die Ausgleichskasse des Kantons St. Gallen den Präsidenten des Verwaltungsrates der Firma X._, P._, die beiden Verwaltungsratsmitglieder M._ und S._, welche ihr Amt in der Zeit vom 17. August 1995 bis 10. Februar 1997 innehatten, sowie ihre Vorgänger, den ehemaligen Verwaltungsratspräsidenten B._ und das ehemalige Verwaltungsratsmitglied U._, zur Bezahlung von Schadenersatz für entgangene Beiträge betreffend die Jahre 1994 und 1995 in der Höhe von Fr. 91'594. 45 (inkl. Verwaltungskosten, Mahngebühren und Verzugszinsen). B.- Auf Einspruch der fünf Betroffenen hin erhob die Ausgleichskasse beim Versicherungsgericht des Kantons St. Gallen Klage. Dieses trat auf die Klage nicht ein (Entscheid vom 23. Februar 1999) und überwies die Akten dem Sozialversicherungsgericht des Kantons Zürich, welches mit Entscheid vom 22. November 2000 in Gutheissung der Klage P._, M._, S._, B._ und U._ verpflichtete, der Ausgleichskasse in solidarischer Haftung Schadenersatz im Betrage von Fr. 91'594. 45 zu bezahlen. C.- P._, M._ und S._ lassen Verwaltungsgerichtsbeschwerde führen mit dem Rechtsbegehren, der kantonale Entscheid sei aufzuheben und die Schadenersatzklage abzuweisen. Während die Ausgleichskasse die Abweisung der Verwaltungsgerichtsbeschwerde beantragt, hat das Bundesamt für Sozialversicherung keine Stellungnahme eingereicht. Die als Mitinteressierte zum Verfahren beigeladenen B._ und U._ haben sich nicht vernehmen lassen. 