Sachverhalt: A. Der 1948 geborene A._ war ab 9. Februar 2006 als Einkäufer für die B._ AG tätig. Am 31. August 2006 kündigte die Gesellschaft das Arbeitsverhältnis per 30. September 2006. Daraufhin meldete sich A._ am 1. Dezember 2006 bei der Invalidenversicherung zum Bezug von Leistungen an. Die IV-Stelle Solothurn sprach ihm mit Wirkung ab 1. Mai 2007 eine halbe Rente, basierend auf einem Invaliditätsgrad von 57 % bei einem Valideneinkommen von Fr. 117'000.- und einem Invalideneinkommen von Fr. 50'500.-, zu (Verfügungen vom 5. und 17. März 2009). Mit Schreiben vom 5. November 2010 liess A._ der IV-Stelle mitteilen, dass er seit Juli 2006 bei verschiedenen Arbeitgebern tätig gewesen sei. Daraufhin kündigte diese mit Vorbescheid vom 18. April 2011 die rückwirkende Einstellung der Invalidenrente per 1. Juli 2009 an. A._ liess Einwendungen vorbringen, worauf sie den Vorbescheid aufhob und mit einem weiteren Vorbescheid vom 15. Dezember 2011 die rückwirkende Herabsetzung auf eine Viertelsrente per 1. Mai 2007 und eine Rentenaufhebung per 1. Januar 2008 in Aussicht stellte. Nachdem A._ dagegen wiederum Einwände erhoben hatte, informierte sie ihn mit Vorbescheid vom 16. Februar 2012, dass sie per 1. Januar 2008 eine Herabsetzung auf eine Viertelsrente und auf den 1. Januar 2009 eine Rentenaufhebung vornehmen werde; zudem werde sie - als Sanktion für die schwere Meldepflichtverletzung - die ganze Rentenzahlung rückwirkend ab 1. Mai 2007 verweigern. Die entsprechende Verfügung erging am 28. März 2012. Am 2. Mai 2012 erhob die IV-Stelle ausserdem Strafanzeige gegen A._ wegen Vergehens gegen das Bundesgesetz über die Alters- und Hinterlassenenversicherung (AHVG; SR 831.10). Mit Verwaltungsakt vom 30. Mai 2012 verpflichtete sie A._ schliesslich, ihr einen Betrag von Fr. 87'864.- (Invalidenrente samt Kinderrente für die Zeit vom 1. Mai 2007 bis 31. Mai 2012) zurückzuerstatten. B. A._ erhob gegen beide Verfügungen vom 28. März 2012 und 30. Mai 2012 separat Beschwerde. Das Versicherungsgericht des Kantons Solothurn vereinigte die Beschwerdeverfahren mit Verfügung vom 5. September 2012. Während des kantonalgerichtlichen Prozesses wurde A._ vom Amtsgerichtspräsidenten C._ des Vergehens gegen das AHVG, begangen in der Zeit vom 1. Januar 2008 bis 5. November 2010, schuldig gesprochen (Urteil vom 12. Februar 2013, unangefochten in Rechtskraft erwachsen). In teilweiser Gutheissung der beiden Beschwerden stellte das kantonale Versicherungsgericht fest, A._ habe vom 1. Mai 2007 bis 30. September 2009 Anspruch auf eine halbe Rente und er habe der IV-Stelle einen Betrag von Fr. 51'548.- zurückzuerstatten (Entscheid vom 10. Februar 2014). C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, das vorinstanzliche Urteil sei aufzuheben, soweit es ihn zur Rückzahlung der zwischen 1. Dezember 2010 und 31. Mai 2012 bezogenen Invalidenrenten und Kinderrenten in der Höhe von Fr. 29'204.- verpflichte; eventualiter sei das vorinstanzliche Urteil aufzuheben, soweit es ihn zur Rückzahlung der zwischen 1. April 2011 und 31. Mai 2012 bezogenen Invalidenrenten und Kinderrenten in der Höhe von Fr. 22'736.- verpflichte. Ferner lässt er darum ersuchen, der Beschwerde die aufschiebende Wirkung zu erteilen. Die IV-Stelle lässt sich nicht vernehmen. Das kantonale Gericht schliesst ohne weitere Ausführungen auf Abweisung der Beschwerde und das Bundesamt für Sozialversicherungen verzichtet auf eine Stellungnahme. 