Sachverhalt: A. A.a. Der 1958 geborene P._ meldete sich am 5. Mai 2004 zum Bezug von Leistungen der Invalidenversicherung an. Nach Abklärung der gesundheitlichen und erwerblichen Verhältnisse sprach ihm die IV-Stelle Obwalden mit Verfügung vom 17. Januar 2008 rückwirkend ab 1. Dezember 2003 eine ganze Rente und ab 1. November 2006 eine Viertelsrente zu. Das Verwaltungsgericht des Kantons Obwalden hiess die dagegen erhobene Beschwerde in dem Sinne gut, dass es die Verfügung vom 17. Januar 2008 aufhob und die Sache zur weiteren Abklärung und Neubeurteilung gemäss den Erwägungen an die IV-Stelle zurückwies (Entscheid vom 12. November 2009). In der Folge holte die IV-Stelle die Expertise des Instituts X._ vom 11. November 2010 ein. Nach Durchführung des Vorbescheidverfahrens bejahte sie mit Verfügung vom 19. April 2011 einen Anspruch auf eine befristete ganze Rente für die Zeit vom 1. Dezember 2003 bis 31. Dezember 2004, basierend auf einem Invaliditätsgrad von 100 % (bestätigt mit Entscheid des Verwaltungsgerichts des Kantons Obwalden vom 23. Januar 2013 und Urteil des Bundesgerichts 8C_153/2013 vom 10. Mai 2013). A.b. Mit Verfügung vom 21. April 2011 forderte die IV-Stelle für die Zeit vom 1. Januar 2005 bis 31. März 2011 zu Unrecht erbrachte Rentenleistungen im Gesamtbetrag von Fr. 41'423.- zurück. B. Nachdem das Verwaltungsgericht den gegen die Rückforderungsverfügung vom 21. April 2011 eingeleiteten Prozess bis zum Vorliegen des Urteils des Bundesgerichts 8C_153/2013 vom 10. Mai 2013 zur Rentenfrage sistiert hatte, wies es die Beschwerde nach Wiederaufnahme des Verfahrens mit Entscheid vom 20. August 2013 ab. C. P._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, es sei festzustellen, dass der Invalidenversicherung kein Rückforderungsanspruch zustehe. Die IV-Stelle, das kantonale Gericht und das Bundesamt für Sozialversicherungen (BSV) schliessen auf Abweisung der Beschwerde. 