Sachverhalt: Sachverhalt: A. S._ stellte Antrag auf Ausrichtung von Arbeitslosenentschädigung für die Zeit ab 1. April 2003 in der bereits laufenden Rahmenfrist vom 14. Januar 2002 bis 13. Januar 2004. Nach Abklärungen der Arbeitslosenkasse GBI wurde eine weitere Rahmenfrist für den Leistungsbezug vom 14. Januar 2004 bis 13. Januar 2006 eröffnet. Das seco stellte anlässlich einer Revision vom 31. Januar 2005 fest, der Versicherte sei in den Monaten Dezember 2002 bis März 2003 in keinem lohnberechtigten Arbeitsverhältnis gestanden, weshalb diese Zeit nicht als Beitragszeit angerechnet werden könne und somit ab 14. Januar 2004 kein Anspruch auf Arbeitslosenentschädigung bestanden habe. Mit Verfügung vom 1. April 2005 und Einspracheentscheid vom 8. Juli 2005 forderte die Arbeitslosenkasse zu viel ausbezahlte Leistungen im Betrag von Fr. 45'898.70 (Januar 2004 bis Dezember 2004) zurück. Die dagegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Schwyz insofern teilweise gut, als es den Einspracheentscheid vom 8. Juli 2005 aufhob, die Sache zur ergänzenden Sachverhaltsabklärung und Neubeurteilung an die Verwaltung zurückwies (Entscheid vom 6. Dezember 2005). Am 7. Dezember 2006 bestätigte die Arbeitslosenkasse ihre Rückforderungsverfügung vom 1. April 2005 (Einspracheentscheid vom 7. Dezember 2006). A. S._ stellte Antrag auf Ausrichtung von Arbeitslosenentschädigung für die Zeit ab 1. April 2003 in der bereits laufenden Rahmenfrist vom 14. Januar 2002 bis 13. Januar 2004. Nach Abklärungen der Arbeitslosenkasse GBI wurde eine weitere Rahmenfrist für den Leistungsbezug vom 14. Januar 2004 bis 13. Januar 2006 eröffnet. Das seco stellte anlässlich einer Revision vom 31. Januar 2005 fest, der Versicherte sei in den Monaten Dezember 2002 bis März 2003 in keinem lohnberechtigten Arbeitsverhältnis gestanden, weshalb diese Zeit nicht als Beitragszeit angerechnet werden könne und somit ab 14. Januar 2004 kein Anspruch auf Arbeitslosenentschädigung bestanden habe. Mit Verfügung vom 1. April 2005 und Einspracheentscheid vom 8. Juli 2005 forderte die Arbeitslosenkasse zu viel ausbezahlte Leistungen im Betrag von Fr. 45'898.70 (Januar 2004 bis Dezember 2004) zurück. Die dagegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Schwyz insofern teilweise gut, als es den Einspracheentscheid vom 8. Juli 2005 aufhob, die Sache zur ergänzenden Sachverhaltsabklärung und Neubeurteilung an die Verwaltung zurückwies (Entscheid vom 6. Dezember 2005). Am 7. Dezember 2006 bestätigte die Arbeitslosenkasse ihre Rückforderungsverfügung vom 1. April 2005 (Einspracheentscheid vom 7. Dezember 2006). B. Das Verwaltungsgericht des Kantons Schwyz wies die gegen den Einspracheentscheid erhobene Beschwerde mit Entscheid vom 28. März 2007 ab. B. Das Verwaltungsgericht des Kantons Schwyz wies die gegen den Einspracheentscheid erhobene Beschwerde mit Entscheid vom 28. März 2007 ab. C. S._ lässt Beschwerde führen mit dem Antrag, es sei der vorinstanzliche Entscheid und die Rückforderungsverfügung aufzuheben und von der Rückforderung der bereits bezogenen Arbeitslosentaggelder abzusehen; eventualiter sei die Sache der Vorinstanz zur Neubeurteilung zurückzuweisen. Das kantonale Gericht beantragt Abweisung der Beschwerde, soweit darauf einzutreten ist, während die Arbeitslosenkasse auf Abweisung der Beschwerde schliesst. Das Staatssekretariat für Wirtschaft verzichtet auf eine Vernehmlassung. 