Sachverhalt: Sachverhalt: A. P._ bezog in der Zeit vom 1. April bis 22. November 1997, vom 1. bis 31. Januar 2001 und vom 14. August 2001 bis 31. Oktober 2002 Arbeitslosenentschädigung. Mit Verfügung vom 18. Januar 2002 sprach ihm die IV-Stelle des Kantons Thurgau ab 1. April 1997 eine halbe Rente aufgrund eines Invaliditätsgrades von 50 % zu. In teilweiser Gutheissung der dagegen erhobenen Beschwerde setzte die AHV/IV-Rekurskommission des Kantons Thurgau den Leistungsbeginn auf den 1. Juli 1996 fest (Entscheid vom 28. Juni 2002). Gestützt auf die Mitteilung des Beschlusses der IV-Stelle, wonach dem Versicherten ab 1. Juli 1996 eine halbe Invalidenrente aufgrund eines Invaliditätsgrades von 62 % zugesprochen wurde, verfügte die Arbeitslosenkasse des Kantons Thurgau am 3. Dezember 2002 die Rückforderung zu viel ausbezahlter Arbeitslosenentschädigung im Betrag von Fr. 19'828.70 und eröffnete dem Versicherten, dass bei der Ausgleichskasse des Amtes für AHV und IV des Kantons Thurgau Antrag auf Verrechnung der Rückforderung mit den Leistungen der Invalidenversicherung gestellt werde. Am 20. Januar 2003 erliess die IV-Stelle die Rentenverfügung, mit der sie die Nachzahlung für die Zeit bis 31. Dezember 2002 auf Fr. 15'600.- festsetzte und im Betrag von Fr. 15'356.- Verrechnung mit den Leistungen der Arbeitslosenversicherung erklärte. A. P._ bezog in der Zeit vom 1. April bis 22. November 1997, vom 1. bis 31. Januar 2001 und vom 14. August 2001 bis 31. Oktober 2002 Arbeitslosenentschädigung. Mit Verfügung vom 18. Januar 2002 sprach ihm die IV-Stelle des Kantons Thurgau ab 1. April 1997 eine halbe Rente aufgrund eines Invaliditätsgrades von 50 % zu. In teilweiser Gutheissung der dagegen erhobenen Beschwerde setzte die AHV/IV-Rekurskommission des Kantons Thurgau den Leistungsbeginn auf den 1. Juli 1996 fest (Entscheid vom 28. Juni 2002). Gestützt auf die Mitteilung des Beschlusses der IV-Stelle, wonach dem Versicherten ab 1. Juli 1996 eine halbe Invalidenrente aufgrund eines Invaliditätsgrades von 62 % zugesprochen wurde, verfügte die Arbeitslosenkasse des Kantons Thurgau am 3. Dezember 2002 die Rückforderung zu viel ausbezahlter Arbeitslosenentschädigung im Betrag von Fr. 19'828.70 und eröffnete dem Versicherten, dass bei der Ausgleichskasse des Amtes für AHV und IV des Kantons Thurgau Antrag auf Verrechnung der Rückforderung mit den Leistungen der Invalidenversicherung gestellt werde. Am 20. Januar 2003 erliess die IV-Stelle die Rentenverfügung, mit der sie die Nachzahlung für die Zeit bis 31. Dezember 2002 auf Fr. 15'600.- festsetzte und im Betrag von Fr. 15'356.- Verrechnung mit den Leistungen der Arbeitslosenversicherung erklärte. B. Die gegen die Verfügung der Arbeitslosenkasse vom 3. Dezember 2002 erhobene Beschwerde, mit welcher P._ den Rückforderungsanspruch bestritt und eventualiter dessen Verjährung für die Zeit vor dem 3. Dezember 1997 geltend machte, wies die Rekurskommission des Kantons Thurgau für die Arbeitslosenversicherung mit Entscheid vom 29. September 2004 ab. B. Die gegen die Verfügung der Arbeitslosenkasse vom 3. Dezember 2002 erhobene Beschwerde, mit welcher P._ den Rückforderungsanspruch bestritt und eventualiter dessen Verjährung für die Zeit vor dem 3. Dezember 1997 geltend machte, wies die Rekurskommission des Kantons Thurgau für die Arbeitslosenversicherung mit Entscheid vom 29. September 2004 ab. C. P._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Rechtsbegehren, in Aufhebung des angefochtenen Entscheids vom 29. September 2004 und der Verfügung der Arbeitslosenkasse vom 3. Dezember 2002 sei festzustellen, dass ein Verrechnungsanspruch für zu viel bezogene Arbeitslosenentschädigung höchstens im Betrag von Fr. 2817.- bestehe; eventuell sei die Sache zur Neufestsetzung des Verrechnungsanspruchs an die Vorinstanz zurückzuweisen. Die Arbeitslosenkasse beantragt Abweisung der Verwaltungsgerichtsbeschwerde. Das Staatssekretariat für Wirtschaft (seco) und das als Mitinteressierter beigeladene Amt für AHV und IV des Kantons Thurgau verzichten auf Vernehmlassung. 