Sachverhalt: Sachverhalt: A. Mit Verfügungen vom 31. Juli 2001 verpflichtete die Ausgleichskasse des Kantons Bern Z._ zur Entrichtung von AHV/IV/EO-Beiträgen (einschliesslich Verwaltungskosten) als Selbstständigerwerbender im Nebenerwerb in Höhe von Fr. 408.35 für das Jahr 1996, je Fr. 1'274.30 für die Jahre 1997 bis 1999 und Fr. 408.35 für das Jahr 2000. Zudem wurden Verzugszinsen von Fr. 253.88 für die Jahre 1996 bis 1999 und Fr. 135.30 für das Jahr 2000, total Fr. 389.20, erhoben. A. Mit Verfügungen vom 31. Juli 2001 verpflichtete die Ausgleichskasse des Kantons Bern Z._ zur Entrichtung von AHV/IV/EO-Beiträgen (einschliesslich Verwaltungskosten) als Selbstständigerwerbender im Nebenerwerb in Höhe von Fr. 408.35 für das Jahr 1996, je Fr. 1'274.30 für die Jahre 1997 bis 1999 und Fr. 408.35 für das Jahr 2000. Zudem wurden Verzugszinsen von Fr. 253.88 für die Jahre 1996 bis 1999 und Fr. 135.30 für das Jahr 2000, total Fr. 389.20, erhoben. B. Nachdem Z._ dagegen Beschwerde erhoben hatte, hob die Kasse die Verwaltungsakte vom 31. Juli 2001 wiedererwägungsweise auf und ersetzte sie durch neue Verfügungen vom 23. Oktober 2001. Danach belaufen sich die umstrittenen Beiträge (inklusive Verwaltungskosten) neu auf Fr. 399.75 für das Jahr 1996, je Fr. 1162.35 für die Jahre 1997 bis 1999 und Fr. 399.75 für das Jahr 2000, die Verzugszinsen auf Fr. 407.05 (Fr. 233.21 plus Fr. 173.85). Das Verwaltungsgerichts des Kantons Bern wies die Beschwerde, die aufrechterhalten worden war, ab, soweit sie nicht durch die während des Beschwerdeverfahrens erfolgte Aufhebung und Ersetzung der ursprünglichen Verfügungen vom 31. Juli 2001 gegenstandslos geworden war (Entscheid vom 18. Dezember 2003). Das Verwaltungsgerichts des Kantons Bern wies die Beschwerde, die aufrechterhalten worden war, ab, soweit sie nicht durch die während des Beschwerdeverfahrens erfolgte Aufhebung und Ersetzung der ursprünglichen Verfügungen vom 31. Juli 2001 gegenstandslos geworden war (Entscheid vom 18. Dezember 2003). C. Mit Verwaltungsgerichtsbeschwerde beantragt Z._, die Beiträge auf dem von ihm im Jahr 1999 vereinnahmten Einkommen aus selbstständigem Nebenerwerb seien auf Grund einer Gegenwartsbemessung festzusetzen. Die Ausgleichskasse und das Bundesamt für Sozialversicherung verzichten auf eine Vernehmlassung. 