Sachverhalt: Sachverhalt: A. Die Ausgleichskasse des Kantons Zürich setzte die AHV-Beiträge des R._ für das Jahr 1994 mit Verfügung vom 23. Dezember 1999 auf Fr. 146'373.- fest. Gleichentags forderte sie auf diesen Beiträgen einen Verzugszins von Fr. 43'180.05. Dagegen erhob R._ Beschwerde. Das angerufene Sozialversicherungsgericht des Kantons Zürich sistierte das Verfahren bis zum Vorliegen des bundesgerichtlichen Urteils über die Steuerveranlagung 1995/96. Im Nachgang zum bundesgerichtlichen Urteil vom 15. Februar 2002 (2A.234/2001), mit welchem der Entscheid der Bundessteuer-Rekurskommission des Kantons Zürich vom 9. März 2001 bestätigt wurde, wonach sich der Gewinn aus Liegenschaftshandel auf Fr. 1'870'076.- belaufe, verfügte die Ausgleichskasse gestützt auf die Steuermeldung vom 23. April 2002 pendente lite am 13. Mai 2002 Beiträge für das Jahr 1994 von Fr. 180'315.-. Dagegen erhob R._ erneut Beschwerde. Mit Verfügung vom 30. September 2002 vereinigte das Sozialversicherungsgericht des Kantons Zürich die beiden Verfahren, hob die Sistierung auf und gab R._ mit dem Hinweis auf eine mögliche Schlechterstellung die Gelegenheit zum Rückzug seiner Beschwerden. Mit Entscheid vom 29. August 2003 wies das kantonale Gericht schliesslich die Beschwerden ab, hiess Beiträge von Fr. 180'315.- gut und erhöhte die Verzugszinsen auf Fr. 53'192.90. Die dagegen erhobene Verwaltungsgerichtsbeschwerde hiess das Eidgenössische Versicherungsgericht mit Urteil vom 10. Mai 2004, H 298/03, teilweise gut und hob den Entscheid vom 29. August 2003 auf, soweit er die Zahlung von Verzugszinsen umfasste. Gleichzeitig wies es das Sozialversicherungsgericht des Kantons Zürich an, hinsichtlich der Verzugszinsen die Schlechterstellung (reformatio in peius) anzudrohen und gleichzeitig die Möglichkeit zum Beschwerderückzug anzubieten, ehe über die Pflicht zur Zahlung von Verzugszinsen neu zu entscheiden sei. Im Übrigen wies es die Verwaltungsgerichtsbeschwerde ab. Die dagegen erhobene Verwaltungsgerichtsbeschwerde hiess das Eidgenössische Versicherungsgericht mit Urteil vom 10. Mai 2004, H 298/03, teilweise gut und hob den Entscheid vom 29. August 2003 auf, soweit er die Zahlung von Verzugszinsen umfasste. Gleichzeitig wies es das Sozialversicherungsgericht des Kantons Zürich an, hinsichtlich der Verzugszinsen die Schlechterstellung (reformatio in peius) anzudrohen und gleichzeitig die Möglichkeit zum Beschwerderückzug anzubieten, ehe über die Pflicht zur Zahlung von Verzugszinsen neu zu entscheiden sei. Im Übrigen wies es die Verwaltungsgerichtsbeschwerde ab. B. Mit Verfügung vom 9. Juli 2004 machte das Sozialversicherungsgericht des Kantons Zürich R._ auf eine drohende Verschlechterung seiner Rechtsstellung aufmerksam und gab ihm Gelegenheit zum Rückzug der Beschwerde, soweit sie sich gegen den Verzugszins richtete. Mit Schreiben vom 21. Juli 2004 nahm er dazu Stellung, worauf das kantonale Gericht in Abweisung der Beschwerde die Verfügung der Ausgleichskasse das Kantons Zürich vom 23. Dezember 1999 betreffend Verzugszinsen am 19. August 2004 dahingehend abänderte, dass es R._ zur Zahlung eines den Zeitraum vom 1. Januar 1995 bis 30. November 1999 umfassenden Verzugszinses von Fr. 53'192.90 verpflichtete. B. Mit Verfügung vom 9. Juli 2004 machte das Sozialversicherungsgericht des Kantons Zürich R._ auf eine drohende Verschlechterung seiner Rechtsstellung aufmerksam und gab ihm Gelegenheit zum Rückzug der Beschwerde, soweit sie sich gegen den Verzugszins richtete. Mit Schreiben vom 21. Juli 2004 nahm er dazu Stellung, worauf das kantonale Gericht in Abweisung der Beschwerde die Verfügung der Ausgleichskasse das Kantons Zürich vom 23. Dezember 1999 betreffend Verzugszinsen am 19. August 2004 dahingehend abänderte, dass es R._ zur Zahlung eines den Zeitraum vom 1. Januar 1995 bis 30. November 1999 umfassenden Verzugszinses von Fr. 53'192.90 verpflichtete. C. Dagegen erhebt R._ Verwaltungsgerichtsbeschwerde mit dem sinngemässen Antrag, der vorinstanzliche Entscheid wie auch die Verfügungen vom 23. Dezember 1999 seien aufzuheben. Die Ausgleichskasse und das Bundesamt für Sozialversicherung (BSV) verzichten auf eine Stellungnahme. 