Sachverhalt: Sachverhalt: A. Der im Kanton X._ wohnhafte M._ vermietete ab 1. Januar 1994 die in seinem Eigentum stehende Wohnliegenschaft an der Strasse Y._ in Zürich an die Firma Z._ AG mit Sitz an der gleichen Adresse zum Zwecke der Vermietung als möbliertes Appartmenthaus. Die kantonale Steuerverwaltung X._ betrachtete die Mietzinseinnahmen als selbständiges Erwerbseinkommen. Am 27. November 2002 meldete sie der Ausgleichskasse Gastrosuisse für 1997 und 1998 Einkommen von Fr. 285'584.- und Fr. 411'975.- sowie ein im Betrieb arbeitendes eigenes Kapital am 1. Januar 1999 von -Fr. 546'267.- gemäss kantonaler Steuerveranlagung. Gestützt auf diese Angaben erhob die zuständige Ausgleichskasse des Kantons Zürich mit Verfügungen vom 4. Dezember 2003 Beiträge für Selbständigerwerbende u.a. für 1997 bis 2000. Mit Einspracheentscheid vom 19. November 2004 bestätigte sie Beitragspflicht und Beitragshöhe. A. Der im Kanton X._ wohnhafte M._ vermietete ab 1. Januar 1994 die in seinem Eigentum stehende Wohnliegenschaft an der Strasse Y._ in Zürich an die Firma Z._ AG mit Sitz an der gleichen Adresse zum Zwecke der Vermietung als möbliertes Appartmenthaus. Die kantonale Steuerverwaltung X._ betrachtete die Mietzinseinnahmen als selbständiges Erwerbseinkommen. Am 27. November 2002 meldete sie der Ausgleichskasse Gastrosuisse für 1997 und 1998 Einkommen von Fr. 285'584.- und Fr. 411'975.- sowie ein im Betrieb arbeitendes eigenes Kapital am 1. Januar 1999 von -Fr. 546'267.- gemäss kantonaler Steuerveranlagung. Gestützt auf diese Angaben erhob die zuständige Ausgleichskasse des Kantons Zürich mit Verfügungen vom 4. Dezember 2003 Beiträge für Selbständigerwerbende u.a. für 1997 bis 2000. Mit Einspracheentscheid vom 19. November 2004 bestätigte sie Beitragspflicht und Beitragshöhe. B. Die Beschwerde des M._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 20. März 2006 ab. B. Die Beschwerde des M._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 20. März 2006 ab. C. M._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Rechtsbegehren, die Beiträge für 1997 seien zufolge Verwirkung aufzuheben und die beitragspflichtigen Einkommen für 1998 bis 2000 seien auf Fr. 346'500.- (1998), Fr. 283'300.- (1999) und Fr. 297'800.- (2000) festzusetzen; eventualiter seien für 1997 Beiträge auf einem Einkommen von Fr. 217'100.- zu erheben. Ausgleichskasse und Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung. 