Sachverhalt: Sachverhalt: A. Der 1950 geborene S._ war vom 1. Oktober 1989 bis 31. Dezember 1991 und seit 1. Januar 1994 als Selbstständigerwerbender bei der Ausgleichskasse des Kantons Aargau angeschlossen. Am 14. November 2002 meldete das Gemeindesteueramt Z._ der Ausgleichskasse das vom Beitragspflichtigen in den Jahren 1993 und 1994 aus selbstständiger Erwerbstätigkeit erzielte Einkommen. Gestützt auf diese Meldung setzte die Verwaltung mit Verfügung vom 18. November 2002 die vom Versicherten zu entrichtenden AHV/IV/EO-Beiträge für die Periode vom 1. Januar 1996 bis 31. Dezember 1997 auf je Fr. 6573.60 jährlich fest. A. Der 1950 geborene S._ war vom 1. Oktober 1989 bis 31. Dezember 1991 und seit 1. Januar 1994 als Selbstständigerwerbender bei der Ausgleichskasse des Kantons Aargau angeschlossen. Am 14. November 2002 meldete das Gemeindesteueramt Z._ der Ausgleichskasse das vom Beitragspflichtigen in den Jahren 1993 und 1994 aus selbstständiger Erwerbstätigkeit erzielte Einkommen. Gestützt auf diese Meldung setzte die Verwaltung mit Verfügung vom 18. November 2002 die vom Versicherten zu entrichtenden AHV/IV/EO-Beiträge für die Periode vom 1. Januar 1996 bis 31. Dezember 1997 auf je Fr. 6573.60 jährlich fest. B. S._ führte Beschwerde und beantragte sinngemäss, die Beitragsverfügung sei aufzuheben und die zu entrichtenden Beiträge seien herabzusetzen. Zur Begründung machte er im Wesentlichen geltend, die Steuerveranlagung beruhe auf einer fehlerhaften Einschätzung der Steuerbehörde. Mit Entscheid vom 16. Dezember 2003 wies das Sozialversicherungsgericht des Kantons Zürich die Beschwerde ab. B. S._ führte Beschwerde und beantragte sinngemäss, die Beitragsverfügung sei aufzuheben und die zu entrichtenden Beiträge seien herabzusetzen. Zur Begründung machte er im Wesentlichen geltend, die Steuerveranlagung beruhe auf einer fehlerhaften Einschätzung der Steuerbehörde. Mit Entscheid vom 16. Dezember 2003 wies das Sozialversicherungsgericht des Kantons Zürich die Beschwerde ab. C. Mit Verwaltungsgerichtsbeschwerde erneuert S._ das vorinstanzlich gestellte Rechtsbegehren. Gleichzeitig reicht er verschiedene Unterlagen ein. Ausgleichskasse und Bundesamt für Sozialversicherung verzichten auf eine Vernehmlassung. 