Sachverhalt: A. X._ und seine Ehefrau, Y._, wurden für die direkte Bundessteuer der Steuerperiode 1995/96 am 21. Mai 1996 gemeinsam veranlagt. Die entsprechende Verfügung blieb unangefochten und erwuchs in Rechtskraft. Am 2. April 1997 ersuchte X._, die Veranlagung 1995/96 sei wegen tatsächlicher Trennung von seiner Ehefrau per 1. Januar 1996 einer Zwischenveranlagung zu unterziehen. Die Steuerverwaltung des Kantons Bern lehnte dies mit Verfügung vom 21. August 2001 ab (für die Steuerperiode 1997/98 wurden die Eheleute getrennt veranlagt). Die hiergegen erhobene Einsprache blieb erfolglos. B. Am 22. Juni 2004 wies die Steuerrekurskommission die bei ihr eingereichte Beschwerde ihrerseits ab. Sie stützte sich hierfür auf das Kreisschreiben Nr. 14 der Eidgenössischen Steuerverwaltung (Steuerperiode 1995/96) und erachtete weder die dort vorausgesetzte Aufhebung des gemeinsamen Haushaltes auf den angegebenen Zeitpunkt hin noch eine fehlende Gemeinschaftlichkeit der Mittel für Wohnung und Unterhalt bzw. ein getrenntes Auftreten in der Öffentlichkeit als erwiesen. C. X._ hat am 30. Juli 2004 beim Bundesgericht Verwaltungsgerichtsbeschwerde eingereicht; er beantragt, den Entscheid der Steuerrekurskommission aufzuheben und ihn mittels Zwischenveranlagung ab 1. Januar 1995 für die direkte Bundessteuer 1995/96 getrennt zu veranlagen. Er rügt eine unrichtige Rechtsanwendung (von Art. 9 DBG und des zugehörigen Kreisschreibens der Eidgenössischen Steuerverwaltung) sowie eine offensichtlich unrichtige bzw. falsche Sachverhaltsfeststellung und Beweiswürdigung. Der Abteilungspräsident hat es am 3. August 2004 abgelehnt, das vorliegende Verfahren bis zum Entscheid des Verwaltungsgerichts des Kantons Bern über die Staats- und Gemeindesteuern zu sistieren. Die Steuerverwaltung und die Steuerrekurskommission des Kantons Bern sowie die Eidgenössische Steuerverwaltung, Hauptabteilung Direkte Bundessteuer, Verrechnungssteuer, Stempelabgaben, beantragen, die Beschwerde abzuweisen. 