Sachverhalt: A. Die Schweizerische Rentenanstalt/Swiss Life (Rentenanstalt) führte seit anfangs 2000 die Tochtergesellschaft Long Term Strategy AG (LTS) als Beteiligungsgesellschaft. Die Rentenanstalt stellte dieses Anlagevehikel auch den Konzernleitungsmitgliedern, unter anderem X._ und Y._, zur Beteiligung zur Verfügung. Die LTS erzielte erhebliche Gewinne. Die Konzernleitungsmitglieder zogen insofern davon Nutzen, als sie bis Mitte 2002 ihre LTS-Aktien mit Gewinn an die Rentenanstalt zurückverkaufen konnten. Gegen Ende 2002 leitete das Bundesamt für Privatversicherungen (Bundesamt) eine Untersuchung der gesamten Aktivitäten der LTS und insbesondere der Steuerung und Kontrolle dieser Tätigkeiten durch die Geschäftsleitung und den Verwaltungsrat der Rentenanstalt ein. Nach Auffassung des Bundesamts hat die LTS die Geschäfte zum Nachteil der Rentenanstalt getätigt; die dabei erzielten Gewinne hätten vollständig der Rentenanstalt bzw. deren Versicherten zugestanden. Das Bundesamt richtete am 8. April 2003 folgende Verfügung an die Rentenanstalt: "1. Sämtliche Mitglieder des Verwaltungsrats-Ausschusses, welche während der Zeitperiode vom 25. April 2000 und dem 18. Juli 2002 im Amt waren, dürfen als Verwaltungsräte der Rentenanstalt nicht wieder gewählt werden. 2. Den Personen, welche während der Zeitperiode vom 25. April 2000 und dem 18. Juli 2002 dem Verwaltungsrats-Ausschuss der Rentenanstalt angehörten, wird die Befugnis, die Interessen der Rentenanstalt im vorliegenden verwaltungsrechtlichen Verfahren in Sachen LTS zu vertreten, entzogen. 3. Die Rentenanstalt hat alle geeigneten Vorkehren zu treffen, um die ihr entgangenen Kreditzinse, Garantiekommissionen und übrigen Kosten für ihre Leistungen sowie den ihr entgangenen Gewinn einzutreiben. Sie hat dafür zu sorgen, dass sämtliche rechtlichen Möglichkeiten ausgeschöpft werden. Sollte die Höhe der jeweiligen Ansprüche nicht zweifelsfrei feststehen, sind die entsprechenden Beträge durch externe Sachverständige festzulegen. Die Rentenanstalt hat die Aufsichtsbehörde umgehend über jede von ihr ergriffene Massnahme und ab Datum der Rechtskraft dieser Verfügung mindestens alle 2 Monate über die erzielten Ergebnisse zu informieren. 4. Einer allfälligen Beschwerde gegen die Ziffern 1 und 2 dieser Verfügung wird gemäss Artikel 55 Absatz 2 VwVG die aufschiebende Wirkung entzogen. 5. Es werden keine Kosten erhoben. 6. Die Nichtbefolgung dieser Verfügung wird mit einer Ordnungsbusse von bis zu 5'000 Franken bestraft." B. Am 16. April 2003 führte X._ eine erste Beschwerde an die Eidgenössische Rekurskommission für die Aufsicht über die Privatversicherung (Rekurskommission), rügte eine angeblich verweigerte Akteneinsicht durch das Bundesamt und verlangte diese erneut. Akteneinsicht beantragte er am 24. April 2003 auch beim Bundesamt, das mit Verfügung vom 30. April 2003 auf das Gesuch nicht eintrat. Gegen diese Verfügung gelangte X._ am 5. Mai 2003 mit einer zweiten Beschwerde an die Rekurskommission. Am 23. Mai 2003 reichte er bei dieser eine dritte Beschwerde ein gegen die Verfügung des Bundesamts vom 8. April 2003 und beantragte im Wesentlichen deren Aufhebung und Rückweisung der Sache an das Bundesamt. Y._ führte ebenfalls am 23. Mai 2003 Beschwerde an die Rekurskommission gegen die Verfügung des Bundesamts vom 8. April 2003. Er beantragte namentlich, dass die angefochtene Verfügung in bestimmten Punkten (u.a. Ziff. 3 des Dispositivs) aufzuheben und ihm Akteneinsicht zu gewähren sei. Die Rekurskommission vereinigte alle vier Beschwerdeverfahren und beschränkte diese auf prozessuale Fragen. Die Rekurskommission hiess die Beschwerden am 31. August 2004 gut, soweit sie darauf eintrat, und hob Ziff. 3 des Dispositivs der Verfügung des Bundesamts vom 8. April 2003 auf; im Übrigen wies sie die Beschwerden ab. Die Sache wurde im Sinne der Erwägungen an das Bundesamt zurückgewiesen. C. Gegen diesen Entscheid der Rekurskommission hat das Bundesamt am 1. Oktober 2004 beim Bundesgericht Verwaltungsgerichtsbeschwerde eingereicht mit dem Antrag, den angefochtenen Entscheid aufzuheben. X._ und Y._ (Beschwerdegegner) sowie die Rekurskommission beantragen, die Beschwerde abzuweisen (soweit darauf einzutreten sei). 