Sachverhalt: Sachverhalt: A. Die A._ AG bis ... 1997 mit Sitz in X._, danach in Y._, war der Ausgleichskasse des Kantons Zürich (nachfolgend: Ausgleichskasse) als Arbeitgeberin angeschlossen. Am ... 1999 wurde über die A._ AG der Konkurs eröffnet und am ... 1999 mangels Aktiven wieder eingestellt. Mit Verfügung vom 13. April 2000 verpflichtete die Ausgleichskasse S._, welcher vom 10. Mai 1996 bis 10. Juni 1997 sowie vom 1. Oktober 1998 bis zur Konkurseröffnung Mitglied des Verwaltungsrates gewesen war, zur Bezahlung von Schadenersatz für entgangene Sozialversicherungsbeiträge in der Höhe von Fr. 431'874.95. Am 16. Juni 2000 erliess sie eine weitere Schadenersatzverfügung über Fr. 31'869.30. Nachdem S._ gegen diese Verfügungen Einsprache erhoben hatte, reichte die Ausgleichskasse am 8. Juni 2000 und am 22. August 2000 Klage ein. Das Sozialversicherungsgericht des Kantons Zürich hiess die Klagen gut und verpflichtete S._ zur Bezahlung von Schadenersatz von insgesamt Fr. 463'744.25 (Entscheid vom 9. Januar 2002, Rektifikate vom 24. und 29. Januar 2002). Das Eidgenösssische Versicherungsgericht hiess die hiegegen erhobene Verwaltungsgerichtsbeschwerde mit Urteil vom 7. Januar 2004 in dem Sinne gut, als es an die Ausgleichskasse zurückwies, damit diese die von S._ geschuldete Schadenersatzsumme im Sinne der Erwägungen ermittle und hernach neu verfüge. Nachdem S._ gegen diese Verfügungen Einsprache erhoben hatte, reichte die Ausgleichskasse am 8. Juni 2000 und am 22. August 2000 Klage ein. Das Sozialversicherungsgericht des Kantons Zürich hiess die Klagen gut und verpflichtete S._ zur Bezahlung von Schadenersatz von insgesamt Fr. 463'744.25 (Entscheid vom 9. Januar 2002, Rektifikate vom 24. und 29. Januar 2002). Das Eidgenösssische Versicherungsgericht hiess die hiegegen erhobene Verwaltungsgerichtsbeschwerde mit Urteil vom 7. Januar 2004 in dem Sinne gut, als es an die Ausgleichskasse zurückwies, damit diese die von S._ geschuldete Schadenersatzsumme im Sinne der Erwägungen ermittle und hernach neu verfüge. B. Mit Verfügung vom 15. Oktober 2004, bestätigt mit Einspracheentscheid vom 29. November 2004, verpflichtete die Ausgleichskasse S._ zur Bezahlung von Schadenersatz für entgangene Sozialversicherungsbeiträge für die Zeit ab 1. Oktober 1998 in der Höhe von Fr. 154'952.75. B. Mit Verfügung vom 15. Oktober 2004, bestätigt mit Einspracheentscheid vom 29. November 2004, verpflichtete die Ausgleichskasse S._ zur Bezahlung von Schadenersatz für entgangene Sozialversicherungsbeiträge für die Zeit ab 1. Oktober 1998 in der Höhe von Fr. 154'952.75. C. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 28. Februar 2006 ab. C. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 28. Februar 2006 ab. D. S._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, der vorinstanzliche Entscheid sei aufzuheben. Die Ausgleichskasse und das Bundesamt für Sozialversicherungen verzichten auf eine Stellungnahme. 