Sachverhalt: A. Mit Urteil vom 6. Juni 2005 (B 2/04) hatte das Eidgenössische Versicherungsgericht die zuständige BVG-Vorsorgeeinrichtung verpflichtet, dem 1955 geborenen, seit 1. April 2000 eine halbe und seit 1. April 2002 eine ganze Rente der Invalidenversicherung beziehenden H._ Invalidenleistungen zu erbringen. Dies geschah, basierend auf einer "Leistungsabrechnung berufliche Vorsorge" vom 10. Januar 2006, u.a. mit der am 13. Januar 2006 erfolgten Gutschrift einer die Zeit vom 13. Februar 2003 bis 31. März 2006 betreffenden Nachzahlungssumme im Betrag von Fr. 63'247.-, welche H._ Mitte März 2006 auf ein Vorsorgekonto der Raiffeisen Vorsorgestiftung überweisen liess. Am 6. Februar 2006 verfügte die Ausgleichskasse des Kantons Solothurn auf Grund einer Neuberechnung des Ergänzungsleistungsanspruchs die Rückforderung von im Zeitraum vom 1. Februar 2003 bis 31. Januar 2006 zu viel ausgerichteter Ergänzungsleistungen in Höhe von insgesamt Fr. 44'815.-. Dieser Verwaltungsakt erwuchs unangefochten in Rechtskraft. Mit Eingabe vom 28. Februar 2006 stellte H._ das Gesuch um Erlass der Rückerstattungsverpflichtung, welchem die Ausgleichskasse mangels Vorliegens der Erlassvoraussetzung der grossen Härte nicht stattgab (Verfügung vom 6. April 2006). Daran wurde auf Einsprache hin festgehalten (Einspracheentscheid vom 4. Mai 2006). B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn ab (Entscheid vom 29. Januar 2008). C. H._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des vorinstanzlichen Entscheids und des Einspracheentscheids der Ausgleichskasse vom 4. Mai 2006 sei seinem Gesuch um Erlass der Rückforderung in Höhe von Fr. 44'815.- vom 28. Februar 2006 zu entsprechen; eventualiter sei die Streitsache zur Neuabklärung und zum erneuten Entscheid an die Ausgleichskasse zurückzuweisen. Des Weitern sei der Rechtsvorkehr die aufschiebende Wirkung zu erteilen. Während das kantonale Versicherungsgericht und die Ausgleichskasse auf Abweisung der Beschwerde schliessen, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. D. Mit Verfügung der Instruktionsrichterin vom 21. Mai 2008 wurde der Beschwerde die aufschiebende Wirkung zuerkannt. 