Sachverhalt: Sachverhalt: A. A.X._ war bis zum Jahr 1991 als selbständig erwerbender Architekt, Bautechniker und Kreisschätzer tätig. Nach Aufgabe dieser Tätigkeit nahm er (zuletzt im Jahr 1998) verschiedene Immobilienverkäufe vor und behielt - neben seinem Eigenheim in Y._ ZH - u.a. fünf Mehrfamilienhäuser an der C._strasse in Z._ ZH. Er deklarierte den mit diesen Häusern verbundenen Liegenschaftserfolg, welchen er mittels einer Buchhaltung ermittelte, weiter als Einkommen aus selbständiger Erwerbstätigkeit und gab darauf auch Geschäftsverluste an. In ihrer Steuererklärung 1999 B machten die Eheleute A. und B.X._ bei der direkten Bundessteuer die in den Jahren 1997 und 1998 für die Liegenschaften an der C._strasse in Z._ durchschnittlich aufgelaufenen Unterhaltskosten im Betrag von insgesamt Fr. 169'700.-- als ausserordentliche Aufwendungen geltend. In ihrer Steuererklärung 1999 B machten die Eheleute A. und B.X._ bei der direkten Bundessteuer die in den Jahren 1997 und 1998 für die Liegenschaften an der C._strasse in Z._ durchschnittlich aufgelaufenen Unterhaltskosten im Betrag von insgesamt Fr. 169'700.-- als ausserordentliche Aufwendungen geltend. B. Mit Veranlagungsverfügung vom 25. Januar 2002 rechnete der zuständige Steuerkommissär die Aufwendungen für die Liegenschaften "C._strasse" beim steuerbaren Einkommen der Eheleute X._ auf. Zur Begründung führte er aus, ein solcher Abzug sei nur bei Liegenschaften im Privatvermögen möglich; bei den massgeblichen Mehrfamilienhäusern handle es sich jedoch um Geschäftsvermögen. Die gegen diese Veranlagung ergriffenen kantonalen Rechtsmittel (Einsprache und sodann Beschwerde an die Bundessteuer-Rekurskommission des Kantons Zürich) blieben erfolglos. B. Mit Veranlagungsverfügung vom 25. Januar 2002 rechnete der zuständige Steuerkommissär die Aufwendungen für die Liegenschaften "C._strasse" beim steuerbaren Einkommen der Eheleute X._ auf. Zur Begründung führte er aus, ein solcher Abzug sei nur bei Liegenschaften im Privatvermögen möglich; bei den massgeblichen Mehrfamilienhäusern handle es sich jedoch um Geschäftsvermögen. Die gegen diese Veranlagung ergriffenen kantonalen Rechtsmittel (Einsprache und sodann Beschwerde an die Bundessteuer-Rekurskommission des Kantons Zürich) blieben erfolglos. C. Mit Eingabe vom 22. September 2004 haben die Eheleute X._ Verwaltungsgerichtsbeschwerde an das Bundesgericht erhoben. Sie beantragen, den Entscheid der Bundessteuer-Rekurskommission vom 29. Juni 2004 aufzuheben und von der Aufrechnung der Unterhaltskosten "C._strasse" abzusehen. Eventualiter sei darauf zu schliessen, dass die in der Bemessungslücke angefallenen ausserordentlichen Aufwendungen in der Geschäftsbuchhaltung aktiviert und in der Folge abgeschrieben werden können. Das Kantonale Steueramt beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Die Bundessteuer-Rekurskommission des Kantons Zürich und die Eidgenössische Steuerverwaltung schliessen auf Abweisung der Beschwerde. Das Kantonale Steueramt beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Die Bundessteuer-Rekurskommission des Kantons Zürich und die Eidgenössische Steuerverwaltung schliessen auf Abweisung der Beschwerde. D. Parallel zu ihrer Verwaltungsgerichtsbeschwerde an das Bundesgericht haben die Eheleute X._ gegen den Entscheid der Bundessteuer-Rekurskommission eine Beschwerde an das Verwaltungsgericht des Kantons Zürich erhoben. 