Sachverhalt: Sachverhalt: A. Am 14. Oktober 2003 erhielt E._ von der Ausgleichskasse des Kantons Bern die AHV-Beitragsverfügung für das Jahr 2001 mit einer Beitragsnachforderung von Fr. 7942.15. Mit Verfügung vom 4. November 2003 verlangte die Kasse ausserdem Verzugszinsen in Höhe von Fr. 313.25, berechnet für den Zeitraum vom 1. Januar bis 14. Oktober 2003 bei einem Zinssatz von 5 %. Daran hielt sie auf Einsprache hin mit Entscheid vom 6. Januar 2004 fest. A. Am 14. Oktober 2003 erhielt E._ von der Ausgleichskasse des Kantons Bern die AHV-Beitragsverfügung für das Jahr 2001 mit einer Beitragsnachforderung von Fr. 7942.15. Mit Verfügung vom 4. November 2003 verlangte die Kasse ausserdem Verzugszinsen in Höhe von Fr. 313.25, berechnet für den Zeitraum vom 1. Januar bis 14. Oktober 2003 bei einem Zinssatz von 5 %. Daran hielt sie auf Einsprache hin mit Entscheid vom 6. Januar 2004 fest. B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern ab (Entscheid vom 22. Juli 2004). B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern ab (Entscheid vom 22. Juli 2004). C. Mit Verwaltungsgerichtsbeschwerde beantragt E._, die Verzugszinsen seien nur für die Zeit vom 1. Januar bis zum 12. Mai 2003, nicht aber vom 13. Mai bis zum 14. Oktober 2003 zu erheben, unter entsprechender Abänderung des Einspracheentscheids und des kantonalen Gerichtsentscheids. Die Ausgleichskasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung. 