Sachverhalt: Sachverhalt: A. B._, geboren 1968, hat eine Lehre an der Landwirtschaftsschule P._ absolviert und im elterlichen Landwirtschaftsbetrieb mitgearbeitet. Auf den 1. Januar 1995 übernahm er den Betrieb als selbstständiger Landwirt. Seit Herbst 1994 leidet er an Rückenbeschwerden. Wegen einer Diskushernie L4/5 musste er sich im Dezember 1994 einer Nukleotomie unterziehen. Im September 1995 erfolgte in der Klinik Z._ eine Hemilaminektomie L4/5 links und im März 2002 eine Re-Hemilaminektomie mit mehrfragmentärer Sequestrektomie sowie eine Re-Nukleotomie L4/5. Schliesslich kam es wegen eines Rezidivs am 28. Juni 2002 zu einer weiteren Operation mit Revision L4/5 links. Auf eine erste Anmeldung vom 27. März 1995 übernahm die IV-Stelle Schwyz die Kosten von drei luftgefederten Sitzen für landwirtschaftliche Fahrzeuge im Betrag von Fr. 6'440.-. Am 17. Juni 2002 meldete sich B._ mit dem Begehren um Berufsberatung erneut zum Leistungsbezug bei der Invalidenversicherung an. Die IV-Stelle holte Arztberichte sowie den Fragebogen für Landwirte ein und beauftragte die Beratungsstelle der Landwirtschaftsschule P._ mit einer Abklärung. Im Hinblick auf einen allfälligen Rentenanspruch führte sie durch ihren Abklärungsdienst Erhebungen auf dem Landwirtschaftsbetrieb durch. Nach Einforderung weiterer Arztberichte erliess sie am 11. Juli 2003 eine Verfügung, mit der sie dem Versicherten eröffnete, dass der Invaliditätsgrad 32% betrage, weshalb kein Anspruch auf eine Invalidenrente bestehe. Die dagegen erhobene Einsprache wies sie mit Entscheid vom 24. März 2004 ab, wobei sie den Invaliditätsgrad neu mit 34% bezifferte. A. B._, geboren 1968, hat eine Lehre an der Landwirtschaftsschule P._ absolviert und im elterlichen Landwirtschaftsbetrieb mitgearbeitet. Auf den 1. Januar 1995 übernahm er den Betrieb als selbstständiger Landwirt. Seit Herbst 1994 leidet er an Rückenbeschwerden. Wegen einer Diskushernie L4/5 musste er sich im Dezember 1994 einer Nukleotomie unterziehen. Im September 1995 erfolgte in der Klinik Z._ eine Hemilaminektomie L4/5 links und im März 2002 eine Re-Hemilaminektomie mit mehrfragmentärer Sequestrektomie sowie eine Re-Nukleotomie L4/5. Schliesslich kam es wegen eines Rezidivs am 28. Juni 2002 zu einer weiteren Operation mit Revision L4/5 links. Auf eine erste Anmeldung vom 27. März 1995 übernahm die IV-Stelle Schwyz die Kosten von drei luftgefederten Sitzen für landwirtschaftliche Fahrzeuge im Betrag von Fr. 6'440.-. Am 17. Juni 2002 meldete sich B._ mit dem Begehren um Berufsberatung erneut zum Leistungsbezug bei der Invalidenversicherung an. Die IV-Stelle holte Arztberichte sowie den Fragebogen für Landwirte ein und beauftragte die Beratungsstelle der Landwirtschaftsschule P._ mit einer Abklärung. Im Hinblick auf einen allfälligen Rentenanspruch führte sie durch ihren Abklärungsdienst Erhebungen auf dem Landwirtschaftsbetrieb durch. Nach Einforderung weiterer Arztberichte erliess sie am 11. Juli 2003 eine Verfügung, mit der sie dem Versicherten eröffnete, dass der Invaliditätsgrad 32% betrage, weshalb kein Anspruch auf eine Invalidenrente bestehe. Die dagegen erhobene Einsprache wies sie mit Entscheid vom 24. März 2004 ab, wobei sie den Invaliditätsgrad neu mit 34% bezifferte. B. Beschwerdeweise beantragte B._, es sei ihm mindestens eine Viertelsrente oder eine halbe Rente zuzusprechen; eventuell sei die Sache zur Neubeurteilung an die Verwaltung zurückzuweisen. Mit Entscheid vom 16. Juni 2004 hiess das Verwaltungsgericht des Kantons Schwyz die Beschwerde insoweit gut, als es den Einspracheentscheid vom 24. März 2004 aufhob, den Invaliditätsgrad auf 47% festsetzte und die Sache zur Festsetzung des Rentenbeginns und zur Prüfung der Frage, ob ein Härtefall vorliege, an die Verwaltung zurückwies. B. Beschwerdeweise beantragte B._, es sei ihm mindestens eine Viertelsrente oder eine halbe Rente zuzusprechen; eventuell sei die Sache zur Neubeurteilung an die Verwaltung zurückzuweisen. Mit Entscheid vom 16. Juni 2004 hiess das Verwaltungsgericht des Kantons Schwyz die Beschwerde insoweit gut, als es den Einspracheentscheid vom 24. März 2004 aufhob, den Invaliditätsgrad auf 47% festsetzte und die Sache zur Festsetzung des Rentenbeginns und zur Prüfung der Frage, ob ein Härtefall vorliege, an die Verwaltung zurückwies. C. Die IV-Stelle Schwyz führt Verwaltungsgerichtsbeschwerde mit dem Rechtsbegehren, der angefochtene Entscheid sei aufzuheben und es sei der Einspracheentscheid vom 24. März 2004 wiederherzustellen; eventuell sei die Sache an die Verwaltung zurückzuweisen, damit sie unter Berücksichtigung der familiären Verhältnisse prüfe, ob dem Versicherten die Aufgabe des Landwirtschaftsbetriebes zumutbar sei, und darüber neu verfüge. Der Beschwerdegegner und die Vorinstanz lassen sich mit dem Antrag auf Abweisung der Verwaltungsgerichtsbeschwerde vernehmen. Das Bundesamt für Sozialversicherung verzichtet auf Vernehmlassung. 