Sachverhalt: Sachverhalt: A. Als Teil seines Privatvermögens besass Z.X._ je rund 12,5 Prozent der A._AG, der B._AG, der C._AG und der österreichischen D._GmbH. An den betreffenden Gesellschaften waren neben ihm noch S._, der über eine Mehrheit der Anteile von je rund 75 Prozent verfügte, sowie T._ und U._ beteiligt (die beiden Letzteren je zu rund 6,25 Prozent). Am 3. Juli 1989 verkauften die Genannten ihre Anteile an den vier Gesellschaften der kurz zuvor neu gegründeten E._AG, an welcher sie im gleichen Verhältnis beteiligt waren wie zuvor an den verkauften Gesellschaften. A. Als Teil seines Privatvermögens besass Z.X._ je rund 12,5 Prozent der A._AG, der B._AG, der C._AG und der österreichischen D._GmbH. An den betreffenden Gesellschaften waren neben ihm noch S._, der über eine Mehrheit der Anteile von je rund 75 Prozent verfügte, sowie T._ und U._ beteiligt (die beiden Letzteren je zu rund 6,25 Prozent). Am 3. Juli 1989 verkauften die Genannten ihre Anteile an den vier Gesellschaften der kurz zuvor neu gegründeten E._AG, an welcher sie im gleichen Verhältnis beteiligt waren wie zuvor an den verkauften Gesellschaften. B. Die Steuerverwaltung des Kantons Zürich ging davon aus, dass die Übertragung der betreffenden Beteiligungen auf die E._AG keine echte Veräusserung darstelle. Sie ermittelte einen Ertrag in der Höhe von 529'500 Franken, den Z.X._ durch die Transponierung seiner Anteile an den vier Gesellschaften erzielt habe. Sie berücksichtigte diese Summe für die Veranlagung der direkten Bundessteuer 1991/92 und setzte das steuerbare Einkommen von Z.X._ und Y.X._ auf 414'900 Franken fest (Verfügung vom 2. Mai 1995). B. Die Steuerverwaltung des Kantons Zürich ging davon aus, dass die Übertragung der betreffenden Beteiligungen auf die E._AG keine echte Veräusserung darstelle. Sie ermittelte einen Ertrag in der Höhe von 529'500 Franken, den Z.X._ durch die Transponierung seiner Anteile an den vier Gesellschaften erzielt habe. Sie berücksichtigte diese Summe für die Veranlagung der direkten Bundessteuer 1991/92 und setzte das steuerbare Einkommen von Z.X._ und Y.X._ auf 414'900 Franken fest (Verfügung vom 2. Mai 1995). C. Nach erfolglosem Einspracheverfahren gelangten die Ehegatten an die Bundessteuer-Rekurskommission des Kantons Zürich, welche auf die Beschwerde nicht eintrat, soweit sie von Y.X._ erhoben worden war, und sie abwies, soweit sie Z.X._ betraf (Entscheid vom 1. März 2004). C. Nach erfolglosem Einspracheverfahren gelangten die Ehegatten an die Bundessteuer-Rekurskommission des Kantons Zürich, welche auf die Beschwerde nicht eintrat, soweit sie von Y.X._ erhoben worden war, und sie abwies, soweit sie Z.X._ betraf (Entscheid vom 1. März 2004). D. Am 23. April 2004 haben Z.X._ und Y.X._ beim Bundesgericht Verwaltungsgerichtsbeschwerde eingereicht mit dem Antrag, den angefochtenen Entscheid aufzuheben und das "Reineinkommen" für die direkte Bundessteuer 1991/92 "auf maximal 150'100 Franken festzusetzen". Die Bundessteuer-Rekurskommission des Kantons Zürich und die Eidgenössische Steuerverwaltung schliessen auf Abweisung der Beschwerde, während das Kantonale Steueramt Zürich beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. 