A.- Mit Verfügung vom 31. März 1998 forderte die Ausgleichskasse des Schweizer Hotelier-Vereins und des Schweizer Reisebüro-Verbandes (Hotela) von B._ in seiner Eigenschaft als einziges Mitglied des Verwaltungsrates der am 19. Dezember 1996 in Konkurs gefallenen Hotel X._ AG Schadenersatz in der Höhe von Fr. 142'170. 90 für nicht abgelieferte bundesrechtliche Sozialversicherungsbeiträge (einschliesslich Verwaltungskosten, Mahngebühren und Verzugszinsen). B.- Dagegen erhob der Belangte Einspruch, worauf die Kasse den verfügten Schadenersatz beim Sozialversicherungsgericht des Kantons Zürich klageweise geltend machte. Mit Entscheid vom 29. September 2000 hiess das Gericht die Klage gut. C.- B._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, es seien der kantonale Gerichtsentscheid aufzuheben und die Angelegenheit zur Neubeurteilung an die Vorinstanz zurückzuweisen, eventuell sei die Schadenersatzpflicht in teilweiser Aufhebung des kantonalen Entscheides auf Fr. 67'968. 10 herabzusetzen. Die Ausgleichskasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung. 