A.- Q._ war seit 8. Dezember 1993 einziges Verwaltungsratsmitglied der X._ AG. Am 6. Januar 1999 wurde über die Gesellschaft der Konkurs eröffnet. Am 21. Mai 1999 wurde das Konkursverfahren mangels Aktiven eingestellt. Mit Verfügung vom 3. November 1999 verpflichtete die Ausgleichskasse des Kantons Zürich Q._ zur Bezahlung von Schadenersatz für entgangene Sozialversicherungsbeiträge (einschliesslich Mahngebühren, Verzugszinsen und Betreibungskosten) im Betrag von Fr. 124'569. 35. Der Belangte erhob hiegegen Einspruch. B.- Die Ausgleichskasse reichte am 11. Januar 2000 beim Sozialversicherungsgericht des Kantons Zürich Klage ein mit dem Antrag, der Beklagte sei zu verpflichten, ihr Schadenersatz in Höhe von Fr. 104'531. 90 zu bezahlen. Mit Entscheid vom 25. Januar 2001 hiess das Sozialversicherungsgericht des Kantons Zürich die Klage gut. C.- Mit Verwaltungsgerichtsbeschwerde beantragt Q._ die Abweisung der Klage. Die Ausgleichskasse und das Bundesamt für Sozialversicherung verzichten auf eine Stellungnahme. 