Sachverhalt: Sachverhalt: A. Am 7. Juli 2005 ersuchte M._ um Herabsetzung der mit Verfügungen vom 13. März 1997 und 12. Dezember 2003 definitiv und rechtskräftig verfügten Beiträge auf den bereits bezahlten Betrag für die Jahre 1997 bis 2000. Mit Verfügung vom 2. September 2005 wies die Ausgleichskasse des Kantons Zürich das Gesuch ab. Die von M._ dagegen erhobene Einsprache hiess die Ausgleichskasse mit Entscheid vom 16. September 2005 teilweise gut und setzte die Beiträge 1998 von Fr. 6'213.60 auf Fr. 3'308.40, für 1999 von Fr. 5'871.60 auf Fr. 3'174.- und für 2000 von Fr. 5'880.- auf Fr. 3'189.60 herab (zuzüglich Verwaltungs-, Mahn-, Betreibungskosten sowie allfälligen Verzugszinsen), wobei die Ausgleichskasse festhielt, der im Zeitpunkt des Einspracheentscheides offene Saldo betreffe die Beitragsjahre 1998 bis 2002 sowie 2005. A. Am 7. Juli 2005 ersuchte M._ um Herabsetzung der mit Verfügungen vom 13. März 1997 und 12. Dezember 2003 definitiv und rechtskräftig verfügten Beiträge auf den bereits bezahlten Betrag für die Jahre 1997 bis 2000. Mit Verfügung vom 2. September 2005 wies die Ausgleichskasse des Kantons Zürich das Gesuch ab. Die von M._ dagegen erhobene Einsprache hiess die Ausgleichskasse mit Entscheid vom 16. September 2005 teilweise gut und setzte die Beiträge 1998 von Fr. 6'213.60 auf Fr. 3'308.40, für 1999 von Fr. 5'871.60 auf Fr. 3'174.- und für 2000 von Fr. 5'880.- auf Fr. 3'189.60 herab (zuzüglich Verwaltungs-, Mahn-, Betreibungskosten sowie allfälligen Verzugszinsen), wobei die Ausgleichskasse festhielt, der im Zeitpunkt des Einspracheentscheides offene Saldo betreffe die Beitragsjahre 1998 bis 2002 sowie 2005. B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 29. Mai 2006 ab. B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 29. Mai 2006 ab. C. M._ erhebt Verwaltungsgerichtsbeschwerde und beantragt die Herabsetzung der für die Jahre 1997 bis 2000 geschuldeten Beiträge auf die Höhe der bereits für diese Zeit entrichteten Beiträge. Die Ausgleichskasse und das Bundesamt für Sozialversicherungen (BSV) verzichten auf eine Vernehmlassung. 