Sachverhalt: Sachverhalt: A. Mit Verfügung vom 25. März 2004 verpflichtete die Ausgleichskasse des Kantons Zürich B._, der vom 30. Juni 2000 bis zu seinem am 18. Juni 2002 erklärten Rücktritt einziger Verwaltungsrat der am 4. März 2003 in Konkurs gefallenen Firma X._ war, zur Bezahlung von Schadenersatz für entgangene Sozialversicherungsbeiträge in der Höhe von Fr. 74'888.40. In teilweiser Gutheissung der dagegen erhobenen Einsprache reduzierte sie mit Entscheid vom 4. Februar 2005 die Schadenersatzforderung auf Fr. 35'676.60. A. Mit Verfügung vom 25. März 2004 verpflichtete die Ausgleichskasse des Kantons Zürich B._, der vom 30. Juni 2000 bis zu seinem am 18. Juni 2002 erklärten Rücktritt einziger Verwaltungsrat der am 4. März 2003 in Konkurs gefallenen Firma X._ war, zur Bezahlung von Schadenersatz für entgangene Sozialversicherungsbeiträge in der Höhe von Fr. 74'888.40. In teilweiser Gutheissung der dagegen erhobenen Einsprache reduzierte sie mit Entscheid vom 4. Februar 2005 die Schadenersatzforderung auf Fr. 35'676.60. B. Das Sozialversicherungsgericht des Kantons Zürich wies die hiegegen erhobene Beschwerde mit Entscheid vom 27. Juni 2006 ab. B. Das Sozialversicherungsgericht des Kantons Zürich wies die hiegegen erhobene Beschwerde mit Entscheid vom 27. Juni 2006 ab. C. B._ führt Verwaltungsgerichtsbeschwerde mit dem Antrag, der vorinstanzliche Entscheid sei aufzuheben, soweit er nicht Beiträge an die Familienausgleichskasse betreffe; eventuell sei auch S._, vormaliger Alleinaktionär und Geschäftsführer der Firma, der solidarischen Schadenersatzpflicht zu unterwerfen. Während die Ausgleichskasse Abweisung der Verwaltungsgerichtsbeschwerde beantragt, verzichten der mitbeteiligte H._ und das Bundesamt für Sozialversicherungen auf eine Stellungnahme. 