A.- S._ war Mitglied des Verwaltungsrats der im Bereich des Siebdrucks tätig gewesenen Firma S._ AG. Der im Juni 1998 über die Gesellschaft eröffnete Konkurs wurde mangels Aktiven im 14. Juli 1998 wieder eingestellt. Mit Verfügung vom 7. September 1998 verpflichtete die Ausgleichskasse des Kantons Schaffhausen den Verwaltungsrat der konkursiten Gesellschaft zur Leistung von Schadenersatz im Betrage von Fr. 167'797. 90 für entgangene paritätische bundes- und kantonalrechtliche Sozialversicherungsbeiträge betreffend die Zeit von Mai 1996 bis März 1998 (Nettosaldo, einschliesslich Verwaltungskostenbeiträge, Mahngebühren, Verzugszinsen und Betreibungskosten). B.- Hiegegen erhob S._ Einspruch, worauf die Kasse den verfügten Schadenersatz beim Obergericht des Kantons Schaffhausen klageweise geltend machte. Mit Entscheid vom 20. August 1999 hiess das Gericht die Klage vollumfänglich gut. C.- S._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, es seien der kantonale Gerichtsentscheid aufzuheben und die Klage der Ausgleichskasse abzuweisen, unter Kosten- und Entschädigungsfolge, Letzteres auch hinsichtlich des kantonalen Verfahrens, zu Lasten der Ausgleichskasse. Die Ausgleichskasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Der als Mitinteressierter zum Verfahren beigeladene M._, welcher als Verwaltungsratspräsident der konkursiten Gesellschaft mit Verfügung vom 7. September 1998 und auf Klage hin durch Entscheid des Obergerichts des Kantons Schaffhausen (vom 20. August 1999) ebenfalls für den der Ausgleichskasse erwachsenen Schaden ersatzpflichtig erklärt wurde, verzichtet auf eine Vernehmlassung. Das Bundesamt für Sozialversicherung reicht keine Stellungnahme ein. 