Sachverhalt: Sachverhalt: A. Mit Verfügung vom 29. Mai 2001 forderte die Arbeitslosenkasse GBI (heute: Unia) von C._ (geb. 1950) einen Betrag von Fr. 21'322.90 zurück. A. Mit Verfügung vom 29. Mai 2001 forderte die Arbeitslosenkasse GBI (heute: Unia) von C._ (geb. 1950) einen Betrag von Fr. 21'322.90 zurück. B. Die dagegen erhobene Beschwerde hiess die Rekurskommission des Kantons Thurgau für die Arbeitslosenversicherung mit Entscheid vom 3. August 2004 in dem Sinne gut, dass sie die Sache zu näheren Abklärungen an die Arbeitslosenkasse zurückwies. B. Die dagegen erhobene Beschwerde hiess die Rekurskommission des Kantons Thurgau für die Arbeitslosenversicherung mit Entscheid vom 3. August 2004 in dem Sinne gut, dass sie die Sache zu näheren Abklärungen an die Arbeitslosenkasse zurückwies. C. Die Arbeitslosenkasse führt Verwaltungsgerichtsbeschwerde mit dem Antrag, der kantonale Entscheid sei aufzuheben. C._ lässt auf Abweisung der Verwaltungsgerichtsbeschwerde schliessen, während das Staatssekretariat für Wirtschaft (seco) auf eine Vernehmlassung verzichtet. 