Sachverhalt: Sachverhalt: A. Die Eheleute X. und Y.Z._ übernahmen am 1. November 1992 vom Vater der Ehefrau ein Sportgeschäft und einen separaten Landwirtschaftsbetrieb. Das in der Rechtsform einer Kollektivgesellschaft betriebene Sportgeschäft wird von der Ehefrau geführt, während der Ehemann den Landwirtschaftsbetrieb bewirtschaftet und im Übrigen im Sportgeschäft mitarbeitet. Während das Sportgeschäft Gewinne abwirft, resultierten aus dem Landwirtschaftsbetrieb bis heute stets Verluste. A. Die Eheleute X. und Y.Z._ übernahmen am 1. November 1992 vom Vater der Ehefrau ein Sportgeschäft und einen separaten Landwirtschaftsbetrieb. Das in der Rechtsform einer Kollektivgesellschaft betriebene Sportgeschäft wird von der Ehefrau geführt, während der Ehemann den Landwirtschaftsbetrieb bewirtschaftet und im Übrigen im Sportgeschäft mitarbeitet. Während das Sportgeschäft Gewinne abwirft, resultierten aus dem Landwirtschaftsbetrieb bis heute stets Verluste. B. In ihrer Steuererklärung 1999/2000 deklarierten die Eheleute Z._ für die Bemessungsjahre 1997/1998 Einnahmen aus dem Sportgeschäft von durchschnittlich Fr. 374'066.--. Davon zogen sie einen durchschnittlichen Verlust aus dem Landwirtschaftsbetrieb von Fr. 39'998.-- ab. Die Veranlagungsbehörde liess diesen Abzug nicht zu mit der Begründung, es handle sich beim Landwirtschaftsbetrieb um eine Liebhaberei, die ohne Absicht auf Gewinnerzielung getätigt werde. Gegen die entsprechende Einspracheverfügung vom 22. Januar 2001 erhoben die Steuerpflichtigen sowohl bezüglich der Staats- und Gemeindesteuern als auch der direkten Bundessteuern Rekurs bzw. Beschwerde an die Steuerrekurskommission des Kantons Bern. Mit Entscheid vom 9. Dezember 2003 wies diese die Rechtsmittel ab. B. In ihrer Steuererklärung 1999/2000 deklarierten die Eheleute Z._ für die Bemessungsjahre 1997/1998 Einnahmen aus dem Sportgeschäft von durchschnittlich Fr. 374'066.--. Davon zogen sie einen durchschnittlichen Verlust aus dem Landwirtschaftsbetrieb von Fr. 39'998.-- ab. Die Veranlagungsbehörde liess diesen Abzug nicht zu mit der Begründung, es handle sich beim Landwirtschaftsbetrieb um eine Liebhaberei, die ohne Absicht auf Gewinnerzielung getätigt werde. Gegen die entsprechende Einspracheverfügung vom 22. Januar 2001 erhoben die Steuerpflichtigen sowohl bezüglich der Staats- und Gemeindesteuern als auch der direkten Bundessteuern Rekurs bzw. Beschwerde an die Steuerrekurskommission des Kantons Bern. Mit Entscheid vom 9. Dezember 2003 wies diese die Rechtsmittel ab. C. Gegen den Entscheid der Steuerrekurskommission haben X. und Y.Z._, soweit die direkte Bundessteuer betreffend, beim Bundesgericht Verwaltungsgerichtsbeschwerde erhoben. Sie beantragen, den Entscheid der Steuerrekurskommission aufzuheben, den von X.Z._ geführten Landwirtschaftsbetrieb als selbständige Erwerbstätigkeit anzuerkennen und die in der Veranlagungsperiode 1999/2000 (Bemessungsperiode 1997/1998) geltend gemachten Verluste von durchschnittlich Fr. 39'998.-- zum Abzug zuzulassen. Die Steuerrekurskommission und die Steuerverwaltung des Kantons Bern beantragen die Abweisung der Beschwerde. Den gleichen Antrag stellt die Eidgenössische Steuerverwaltung. 