Sachverhalt: Sachverhalt: A. F._ (geboren 1958) betrieb ab 1986 ein Fitnessstudio. 1992 erlitt er einen Muskelfaserabriss und war in der Folge arbeitsunfähig. Mit Anmeldung vom 10. November 1994 ersuchte er um Leistungen der Invalidenversicherung. Im Rahmen der ihm zugesprochenen Umschulung richtete die Invalidenversicherung Taggelder aus, deren betragsmässige Festsetzung von der IV-Stelle des Kantons Solothurn wiederholt korrigiert werden musste. Mit Schreiben vom 7. und 14. August 2000 liess F._ um Zahlung eines Verzugszinses infolge verspäteter Auszahlung ersuchen. Die IV-Stelle lehnte dies mit Verfügung vom 4. September 2000 ab. A. F._ (geboren 1958) betrieb ab 1986 ein Fitnessstudio. 1992 erlitt er einen Muskelfaserabriss und war in der Folge arbeitsunfähig. Mit Anmeldung vom 10. November 1994 ersuchte er um Leistungen der Invalidenversicherung. Im Rahmen der ihm zugesprochenen Umschulung richtete die Invalidenversicherung Taggelder aus, deren betragsmässige Festsetzung von der IV-Stelle des Kantons Solothurn wiederholt korrigiert werden musste. Mit Schreiben vom 7. und 14. August 2000 liess F._ um Zahlung eines Verzugszinses infolge verspäteter Auszahlung ersuchen. Die IV-Stelle lehnte dies mit Verfügung vom 4. September 2000 ab. B. F._ liess hiegegen Beschwerde führen. Der kantonale Prozess wurde im Einverständnis mit den Parteien sistiert. Nachdem das Eidgenössische Versicherungsgericht mit Urteil vom 27. Dezember 2002 (I 273/02) entschieden hatte, dass F._ zu viel bezogene Betriebszulagen im Betrag von Fr. 48'775.80 zurückzuerstatten habe, hob das Versicherungsgericht des Kantons Solothurn die Sistierung auf und hiess die Beschwerde mit Entscheid vom 6. Juni 2003 insofern gut, als es die IV-Stelle verpflichtete, für den Zeitraum vom 1. Januar 1999 bis 9. Juni 2000 auf dem Betrag von Fr. 124'814.50 einen Verzugszins von 5 % zu bezahlen. B. F._ liess hiegegen Beschwerde führen. Der kantonale Prozess wurde im Einverständnis mit den Parteien sistiert. Nachdem das Eidgenössische Versicherungsgericht mit Urteil vom 27. Dezember 2002 (I 273/02) entschieden hatte, dass F._ zu viel bezogene Betriebszulagen im Betrag von Fr. 48'775.80 zurückzuerstatten habe, hob das Versicherungsgericht des Kantons Solothurn die Sistierung auf und hiess die Beschwerde mit Entscheid vom 6. Juni 2003 insofern gut, als es die IV-Stelle verpflichtete, für den Zeitraum vom 1. Januar 1999 bis 9. Juni 2000 auf dem Betrag von Fr. 124'814.50 einen Verzugszins von 5 % zu bezahlen. C. Die IV-Stelle führt Verwaltungsgerichtsbeschwerde mit dem Antrag, der vorinstanzliche Entscheid sei aufzuheben. Das kantonale Gericht schliesst in seiner Stellungnahme auf eine teilweise Gutheissung der Verwaltungsgerichtsbeschwerde, da derjenige Teil, welchen F._ zurückzuerstatten habe, nicht der Verzugszinspflicht unterliegen könne. F._ lässt die Abweisung der Verwaltungsgerichtsbeschwerde beantragen. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung. 