Sachverhalt: Sachverhalt: A. X._ schloss am 12. Juni 1995 einen Vermögensverwaltungsvertrag mit der Einzelfirma "Y._ Management" . Diese bestätigte ihm per Ende 1995 ein Guthaben von Fr. 100'776.30 (bei Einzahlungen von Fr. 85'000.--) und per Ende 1996 ein solches von Fr. 192'305.20 (bei zusätzlichen Einzahlungen von Fr. 30'000.--). In den Wertschriften- und Guthabenverzeichnissen zu den Steuererklärungen 1996 und 1997 deklarierte X._ diese Guthaben, wobei er für den Vermögensertrag die entsprechende Formularspalte mit einem Schrägstrich versah. Im Veranlagungsverfahren für die direkte Bundessteuer 1997/98 erfasste der Steuerkommissär die Differenz zwischen Einzahlungen und bestätigten Guthaben (1995: Fr. 15'776.--, 1996: Fr. 61'528.--) als Vermögensertrag und rechnete diesen zusammen mit einem nicht deklarierten Nebenerwerbseinkommen von Fr. 720.-- pro 1995 beim steuerbaren Einkommen auf. Eine Einsprache gegen diese Veranlagung wies das Kantonale Steueramt Zürich ab. Die dagegen gerichtete Beschwerde hiess die Bundessteuer-Rekurskommission des Kantons Zürich am 31. Oktober 2003 in Bezug auf das Nebenerwerbseinkommen gut und wies sie im Übrigen ab. Im Veranlagungsverfahren für die direkte Bundessteuer 1997/98 erfasste der Steuerkommissär die Differenz zwischen Einzahlungen und bestätigten Guthaben (1995: Fr. 15'776.--, 1996: Fr. 61'528.--) als Vermögensertrag und rechnete diesen zusammen mit einem nicht deklarierten Nebenerwerbseinkommen von Fr. 720.-- pro 1995 beim steuerbaren Einkommen auf. Eine Einsprache gegen diese Veranlagung wies das Kantonale Steueramt Zürich ab. Die dagegen gerichtete Beschwerde hiess die Bundessteuer-Rekurskommission des Kantons Zürich am 31. Oktober 2003 in Bezug auf das Nebenerwerbseinkommen gut und wies sie im Übrigen ab. B. Mit Verwaltungsgerichtsbeschwerde vom 10. Dezember 2003 beantragt X._ dem Bundesgericht sinngemäss, den Entscheid der Bundessteuer-Rekurskommission sowie den Einspracheentscheid des Kantonalen Steueramtes aufzuheben. Das Kantonale Steueramt Zürich, die Bundessteuer-Rekurskommission des Kantons Zürich und die Eidgenössische Steuerverwaltung schliessen auf Abweisung der Beschwerde. Im Übrigen verweisen die kantonalen Behörden auf die Erwägungen des angefochtenen Entscheids. Unaufgefordert und nach Abschluss des ordentlichen Schriftenwechsels hat X._ mit Eingabe vom 16. März 2004 auf die Vernehmlassung der Eidgenössischen Steuerverwaltung repliziert. 