A.- X._ war gemäss Bestätigungsschreiben des Handelsregisteramtes des Kantons Luzern vom 20. Februar 1997 seit dem 4. Juni 1993 einziger Verwaltungsrat (mit Einzelunterschrift) der Firma A._ AG. Auf diesen Zeitpunkt hin hatte er den bis anhin (vom 10. September 1992 an) in gleicher Funktion tätigen Y._ abgelöst. Am 2. März 1995 wurde über die Firma der Konkurs eröffnet. Die Ausgleichskasse des Kantons Luzern verpflichtete X._ zur Leistung von Schadenersatz für ausgefallene bundes- und kantonalrechtliche Sozialversicherungsbeiträge, einschliesslich Verwaltungskosten, Mahngebühren und Verzugszinsen in der Höhe von insgesamt Fr. 42'839.70 (Verfügung vom 27. Mai 1997). B.- Auf Einspruch des Belangten hin klagte die Ausgleichskasse am 25. August 1997 auf Bezahlung des erwähnten Betrages. In der Klageergänzung vom 22. Oktober 1997 reduzierte sie die Schadenersatzforderung auf Fr. 40'693.70. Mit Entscheid vom 8. Juli 1999 hiess das Verwaltungsgericht des Kantons Luzern die Klage teilweise gut und verpflichtete den Beklagten, der Ausgleichskasse Schadenersatz im Betrag von Fr. 24'688.65, bis zum Betrag von Fr. 1397.35 solidarisch mit Y._, zu bezahlen. C.- X._ lässt Verwaltungsgerichtsbeschwerde erheben mit dem Antrag, es sei der kantonale Entscheid aufzuheben; eventuell sei die Angelegenheit an die Vorinstanz zur Neubeurteilung zurückzuweisen; subeventuell sei er zu verpflichten, der Ausgleichskasse den Betrag von Fr. 18'468.50 zu bezahlen. Während die Ausgleichskasse auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, enthält sich der als Mitinteressierter beigeladene Y._ eines Antrags. Das Bundesamt für Sozialversicherung hat sich nicht vernehmen lassen. 