Sachverhalt: A. Z._ bezog verschiedentlich Leistungen der Arbeitslosenversicherung, so auch ab Mai 2009. Mit Verfügung vom 10. März 2010 forderte ihn die Arbeitslosenkasse des Kantons Zug (nachfolgend: Arbeitslosenkasse) zur Rückerstattung von bezogenen Leistungen in der Höhe von Fr. 28'231.70 für die Zeit vom 15. August 2009 bis 31. Januar 2010 auf. Mit Einspracheentscheid vom 30. Juli 2010 reduzierte die Arbeitslosenkasse die Rückforderung auf Fr. 22'832.20 (15. August bis 31. Dezember 2009) und nahm die Sache bezüglich der Differenz von Fr. 5'489.50 (Januar 2010) zur weiteren Abklärung zurück. B. Das Verwaltungsgericht des Kantons Zug wies die dagegen erhobene Beschwerde mit Entscheid vom 17. März 2011 ab. C. Z._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, es sei der kantonale Entscheid aufzuheben und die Sache an die Vorinstanz zurückzuweisen, damit diese unter Anhörung der von ihm genannten Zeugen erneut über die Angelegenheit befinde. Die Vorinstanz und die Arbeitslosenkasse schliessen auf Abweisung der Beschwerde. Das Staatssekretariat für Wirtschaft verzichtet auf eine Vernehmlassung. 