Sachverhalt: Sachverhalt: A. S._ kündigte sein Arbeitsverhältnis mit der Versicherungsgesellschaft X._ mit Wirkung auf den 30. September 2003, um sich mit einem eigenen Maklerbüro selbstständig zu machen und weiterhin als freier Mitarbeiter und Vermittler unter anderem für die Versicherungsgesellschaft X._ tätig zu sein. Die Ausgleichskasse des Kantons Zürich, bei welcher er sich am 16. September 2003 als Selbstständigerwerbender registrieren lassen wollte, qualifizierte seine Erwerbstätigkeit als unselbstständig und erliess auf seinen Wunsch hin am 7. November 2003 eine Verfügung mit der Feststellung, dass eine Anerkennung als selbstständigerwerbender Versicherungsmakler nicht möglich sei. Daran hielt sie auf Einsprache von S._ hin fest (Entscheid vom 29. Dezember 2003). A. S._ kündigte sein Arbeitsverhältnis mit der Versicherungsgesellschaft X._ mit Wirkung auf den 30. September 2003, um sich mit einem eigenen Maklerbüro selbstständig zu machen und weiterhin als freier Mitarbeiter und Vermittler unter anderem für die Versicherungsgesellschaft X._ tätig zu sein. Die Ausgleichskasse des Kantons Zürich, bei welcher er sich am 16. September 2003 als Selbstständigerwerbender registrieren lassen wollte, qualifizierte seine Erwerbstätigkeit als unselbstständig und erliess auf seinen Wunsch hin am 7. November 2003 eine Verfügung mit der Feststellung, dass eine Anerkennung als selbstständigerwerbender Versicherungsmakler nicht möglich sei. Daran hielt sie auf Einsprache von S._ hin fest (Entscheid vom 29. Dezember 2003). B. Die von S._ hiegegen eingereichte Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 28. September 2004 gut, hob den Einspracheentscheid auf und stellte fest, dass S._ in Bezug auf seine Vermittlungstätigkeit selbstständigerwerbend ist. B. Die von S._ hiegegen eingereichte Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 28. September 2004 gut, hob den Einspracheentscheid auf und stellte fest, dass S._ in Bezug auf seine Vermittlungstätigkeit selbstständigerwerbend ist. C. Die Ausgleichskasse führt Verwaltungsgerichtsbeschwerde mit dem Antrag auf Aufhebung des kantonalen Entscheides und auf Feststellung, dass S._ in Bezug auf seine Vermittlungs- und Beratungstätigkeit für die Versicherungsgesellschaften X._, G._, M._ und die Krankenkasse A._ als Unselbstständigerwerbender zu gelten habe. S._ beantragt die Abweisung der Verwaltungsgerichtsbeschwerde und die Zusprechung einer Entschädigung für die entstandenen Umtriebe. Das Bundesamt für Sozialversicherung schliesst auf Gutheissung der Verwaltungsgerichtsbeschwerde. 