Sachverhalt: A. M._, geboren 1964, war ab 8. April 1980 bei der Firma X._ angestellt. Am 26. Juli 2006 wurde ihm auf den 31. Oktober 2006 gekündigt, da der Betriebsinhaber infolge Erreichen des Pensionsalters das Geschäft aufgab. M._ war von November 2006 bis Mai 2007 für dessen Nachfolger W._ im Stundenlohn tätig. Die Arbeitslosenkasse des Kantons Thurgau (nachfolgend: Arbeitslosenkasse) rechnete ihm dies als Zwischenverdienst an und leistete Kompensationszahlungen. Auf den 1. Juni 2007 trat M._ eine Stelle bei der Stadt Y._ an. Mit Verfügung vom 24. August 2007, bestätigt mit Einspracheentscheid vom 17. Oktober 2007, forderte die Arbeitslosenkasse zu Unrecht bezahlte Arbeitslosenentschädigung im Betrag von Fr. 1147.45 zurück, da gemäss den Angaben des Arbeitgebers im Zwischenverdienst eine Ferienentschädigung enthalten gewesen, diese jedoch auf Veranlassung von M._ vom Arbeitgeber nachbezahlt worden sei. B. Mit Entscheid vom 4. März 2008 hob das Verwaltungsgericht des Kantons Thurgau in Gutheissung der dagegen erhobenen Beschwerde die Verfügung vom 27. (recte: 24.) August 2007 und den Einspracheentscheid vom 17. Oktober 2007 auf. C. Die Arbeitslosenkasse führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, es sei der kantonale Entscheid aufzuheben. M._ schliesst auf Abweisung der Beschwerde. Das Staatssekretariat für Wirtschaft verzichtet auf eine Vernehmlassung. 