A.- B._ war seit 13. Juli 1990 Direktor mit Einzelzeichnungsberechtigung der Hotel X._ AG, der Betriebsgesellschaft des Hotels Y._. Am 10. Dezember 1997 wurde der Ausgleichskasse Hotela (nachfolgend: Ausgleichskasse) im Rahmen der Betreibung für ausstehende Beiträge des Wintersemesters 1996/1997 ein Pfändungsverlustschein über Fr. 10'556. 40 ausgestellt. Dieser wurde auf Grund einer eingegangenen Zahlung in der Höhe von Fr. 4357. 55 durch einen zweiten Verlustschein vom 2. Februar 1998 über Fr. 6296. 50 ersetzt. Am 12. Februar 1998 wurde über die Gesellschaft der Konkurs eröffnet und am 16. März 1998 mangels Aktiven eingestellt. Mit Verfügung vom 27. Oktober 1998 verpflichtete die Ausgleichskasse B._, Schadenersatz für nicht entrichtete paritätische AHV/IV/EO/ALV-Beiträge in der Höhe von Fr. 60'319. 25 zu leisten. Hiegegen liess B._ Einspruch erheben. B.- Am 22. Dezember 1998 reichte die Ausgleichskasse beim Verwaltungsgericht des Kantons Graubünden Klage ein mit dem Begehren, B._ sei zur Bezahlung von Schadenersatz in der verfügten Höhe zu verpflichten. Nach entsprechenden Einwendungen von B._ in der Klageantwort und einer schriftlichen Anfrage des kantonalen Gerichts gab die Ausgleichskasse mit Schreiben vom 22. März 1999 an, irrtümlich seien bei der Berechnung des Schadens beide Verlustscheine berücksichtigt worden, weshalb sich die Klage um Fr. 4357. 55 reduziere. In teilweiser Gutheissung der Klage verpflichtete das kantonale Gericht B._ mit Entscheid vom 16. November 1999, Fr. 50'608. 15 zu bezahlen. C.- B._ lässt dagegen Verwaltungsgerichtsbeschwerde führen mit den Rechtsbegehren, der kantonale Entscheid sei aufzuheben und die Schadenersatzklage der Ausgleichskasse abzuweisen; eventualiter sei die Schadenersatzforderung zu reduzieren. Die Ausgleichskasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während sich das Bundesamt für Sozialversicherung nicht vernehmen lässt. 