Sachverhalt: Sachverhalt: A. X._ ist selbständiger Unternehmensberater. In der Steuererklärung 1999 A deklarierten er und seine Ehefrau Y._ für das Jahr 1998 unter anderem zwei Honorarzahlungen von der A._ AG als Einnahmen. Im Veranlagungsverfahren verlangte das Kantonale Steueramt Zürich von den Steuerpflichtigen Unterlagen betreffend die Erwerbstätigkeit der Jahre 1997 bis 1999. Mit dem Veranlagungsvorschlag des Steueramts bzw. dessen Hinweis bezüglich direkter Bundessteuer der Steuerperiode 1997/98 für ausserordentliche Einkünfte von Fr. 242'300.-- im Jahr 1998 war X._ nicht einverstanden. Am 23. April 2003 veranlagte das Steueramt die Steuerpflichtigen indes auf diesen Betrag. Die hiergegen eingereichte Einsprache wurde am 5. September 2003 abgewiesen. A. X._ ist selbständiger Unternehmensberater. In der Steuererklärung 1999 A deklarierten er und seine Ehefrau Y._ für das Jahr 1998 unter anderem zwei Honorarzahlungen von der A._ AG als Einnahmen. Im Veranlagungsverfahren verlangte das Kantonale Steueramt Zürich von den Steuerpflichtigen Unterlagen betreffend die Erwerbstätigkeit der Jahre 1997 bis 1999. Mit dem Veranlagungsvorschlag des Steueramts bzw. dessen Hinweis bezüglich direkter Bundessteuer der Steuerperiode 1997/98 für ausserordentliche Einkünfte von Fr. 242'300.-- im Jahr 1998 war X._ nicht einverstanden. Am 23. April 2003 veranlagte das Steueramt die Steuerpflichtigen indes auf diesen Betrag. Die hiergegen eingereichte Einsprache wurde am 5. September 2003 abgewiesen. B. Die Bundessteuer-Rekurskommission des Kantons Zürich (seit 1. Juli 2004: Steuerrekurskommission II des Kantons Zürich) wies die bei ihr geführte Beschwerde am 29. Juni 2004 (versandt: 17. August 2004) ebenfalls ab. Regelmässige erfolgsabhängige Einnahmen seien nicht nachgewiesen; das zweite Honorar sei unüblich rasch bezahlt worden; daher handle es sich bei den beiden fraglichen Honoraren um ausserordentliche Einkünfte. B. Die Bundessteuer-Rekurskommission des Kantons Zürich (seit 1. Juli 2004: Steuerrekurskommission II des Kantons Zürich) wies die bei ihr geführte Beschwerde am 29. Juni 2004 (versandt: 17. August 2004) ebenfalls ab. Regelmässige erfolgsabhängige Einnahmen seien nicht nachgewiesen; das zweite Honorar sei unüblich rasch bezahlt worden; daher handle es sich bei den beiden fraglichen Honoraren um ausserordentliche Einkünfte. C. Gegen diesen Entscheid haben X. und Y._ am 16. September 2004 beim Bundesgericht Verwaltungsgerichtsbeschwerde eingereicht. Sie beantragen, den angefochtenen Entscheid aufzuheben und festzustellen, dass keine ausserordentlichen Einkünfte vorliegen würden bzw. die Veranlagung zu streichen sei. Die Steuerrekurskommission II, das Kantonale Steueramt und die Eid-genössische Steuerverwaltung beantragen, die Beschwerde abzuweisen (soweit darauf einzutreten sei). 