Sachverhalt: Sachverhalt: A. Der auf den 1. April 1998 in den vorzeitigen Ruhestand getretene Z._ meldete sich am 2. August 2002 als Nichterwerbstätiger bei der Ausgleichskasse des Basler Volkswirtschaftsbundes (nachfolgend: Ausgleichskasse) an. Auf Grund der Angaben des Versicherten setzte die Ausgleichskasse am 15. August 2002 dessen Beiträge für die Jahre 1999 (Fr. 1'339.40), 2000 (Fr. 1'339.40) und 2001 (Fr. 927.- bis 30. September) fest. Sie wies darauf hin, dass die Beiträge auf der Grundlage der Selbstangaben abgerechnet würden, und dass Einkommen, die nicht auf Grund einer Bundessteuermeldung festgesetzt worden seien, berichtigt würden, sobald die entsprechende Meldung eintreffe. Die fakturierten Beiträge von insgesamt Fr. 3'852.40 (inklusive Verzugszinsen) wurden von Z._ bezahlt. Mit Verfügungen vom 28. Juli 2003 forderte die Ausgleichskasse von ihm gestützt auf die Meldung der Steuerverwaltung Basel-Stadt vom 23. Juni 2003 über Vermögen und Renteneinkommen Nichterwerbstätiger (Bemessungsjahre 1999/2000) weitere Beiträge von insgesamt Fr. 205.60 für die Jahre 1999 und 2000 nach. Die von Z._ erhobene Einsprache wies sie mit Entscheid vom 15. September 2003 ab. A. Der auf den 1. April 1998 in den vorzeitigen Ruhestand getretene Z._ meldete sich am 2. August 2002 als Nichterwerbstätiger bei der Ausgleichskasse des Basler Volkswirtschaftsbundes (nachfolgend: Ausgleichskasse) an. Auf Grund der Angaben des Versicherten setzte die Ausgleichskasse am 15. August 2002 dessen Beiträge für die Jahre 1999 (Fr. 1'339.40), 2000 (Fr. 1'339.40) und 2001 (Fr. 927.- bis 30. September) fest. Sie wies darauf hin, dass die Beiträge auf der Grundlage der Selbstangaben abgerechnet würden, und dass Einkommen, die nicht auf Grund einer Bundessteuermeldung festgesetzt worden seien, berichtigt würden, sobald die entsprechende Meldung eintreffe. Die fakturierten Beiträge von insgesamt Fr. 3'852.40 (inklusive Verzugszinsen) wurden von Z._ bezahlt. Mit Verfügungen vom 28. Juli 2003 forderte die Ausgleichskasse von ihm gestützt auf die Meldung der Steuerverwaltung Basel-Stadt vom 23. Juni 2003 über Vermögen und Renteneinkommen Nichterwerbstätiger (Bemessungsjahre 1999/2000) weitere Beiträge von insgesamt Fr. 205.60 für die Jahre 1999 und 2000 nach. Die von Z._ erhobene Einsprache wies sie mit Entscheid vom 15. September 2003 ab. B. Die vom Versicherten dagegen eingereichte Beschwerde hiess das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 18. Mai 2004 gut und hob die angefochtenen Verfügungen auf. B. Die vom Versicherten dagegen eingereichte Beschwerde hiess das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 18. Mai 2004 gut und hob die angefochtenen Verfügungen auf. C. Mit Verwaltungsgerichtsbeschwerde beantragt die Ausgleichskasse die Aufhebung des kantonalen Entscheides. Versicherter und Vorinstanz verzichten auf eine Vernehmlassung. Das Bundesamt für Sozialversicherung schliesst auf Gutheissung der Verwaltungsgerichtsbeschwerde. 