Sachverhalt: Mit Verfügung vom 25. Oktober 2004, bestätigt durch Einspracheentscheid vom 19. Mai 2005, verpflichtete die Ausgleichskasse Luzern S._ als einzelzeichnungsberechtigten Verwaltungsratspräsidenten der am ... 2003 in Konkurs gefallenen Firma X._ AG zur Zahlung von Schadenersatz in Höhe von Fr. 149'195.75 für ausgefallene Sozialversicherungsbeiträge. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Luzern mit Entscheid vom 23. Mai 2006 ab. S._ führt Verwaltungsgerichtsbeschwerde mit dem Rechtsbegehren, der kantonale Gerichtsentscheid sei aufzuheben; eventuell sei die Sache zur weiteren Abklärung an die Vorinstanz oder an die Ausgleichskasse zurückzuweisen. Auf die einzelnen Vorbringen wird, soweit erforderlich, in den Erwägungen eingegangen. Während die Ausgleichskasse auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. 