Sachverhalt: Sachverhalt: A. Dem 1940 geborenen R._ wurden mit Verfügung der Ausgleichskasse Schwyz vom 7. Februar 1997 Ergänzungsleistungen (EL) zur Invalidenrente in Höhe von Fr. 1747.- monatlich ab 1. Januar 1997 zugesprochen. Die Verwaltung erhielt in der Folge im Rahmen eines Revisionsverfahrens Kenntnis davon, dass die Schweizerische Unfallversicherung ihre am 27. März 1996 per 1. April 1996 zugesprochene Rente, auf der Grundlage einer Erwerbsunfähigkeit von 25 %, sowie Integritätsentschädigung, basierend auf einer Integritätseinbusse von 10 %, mit Verfügung vom 21. März 2001 insofern erhöht hatte, als die Rente nunmehr rückwirkend ab 1. April 1996 auf der Basis einer Erwerbsunfähigkeit von 75 % und die Integritätsentschädigung gestützt auf eine Integritätseinbusse von 25 % auszurichten waren. Der Versicherte wurde hierauf zur Rückerstattung von zu Unrecht ausbezahlten Ergänzungsleistungen für die Zeit vom 1. Januar 1997 bis 31. Juli 2001 im Betrag von insgesamt Fr. 42'858.- aufgefordert (Verfügung vom 8. August 2001). Mit Verfügung vom 31. Januar 2002 lehnte die Ausgleichskasse ein Gesuch vom 7. September 2001 um Erlass der Rückforderung ab. A. Dem 1940 geborenen R._ wurden mit Verfügung der Ausgleichskasse Schwyz vom 7. Februar 1997 Ergänzungsleistungen (EL) zur Invalidenrente in Höhe von Fr. 1747.- monatlich ab 1. Januar 1997 zugesprochen. Die Verwaltung erhielt in der Folge im Rahmen eines Revisionsverfahrens Kenntnis davon, dass die Schweizerische Unfallversicherung ihre am 27. März 1996 per 1. April 1996 zugesprochene Rente, auf der Grundlage einer Erwerbsunfähigkeit von 25 %, sowie Integritätsentschädigung, basierend auf einer Integritätseinbusse von 10 %, mit Verfügung vom 21. März 2001 insofern erhöht hatte, als die Rente nunmehr rückwirkend ab 1. April 1996 auf der Basis einer Erwerbsunfähigkeit von 75 % und die Integritätsentschädigung gestützt auf eine Integritätseinbusse von 25 % auszurichten waren. Der Versicherte wurde hierauf zur Rückerstattung von zu Unrecht ausbezahlten Ergänzungsleistungen für die Zeit vom 1. Januar 1997 bis 31. Juli 2001 im Betrag von insgesamt Fr. 42'858.- aufgefordert (Verfügung vom 8. August 2001). Mit Verfügung vom 31. Januar 2002 lehnte die Ausgleichskasse ein Gesuch vom 7. September 2001 um Erlass der Rückforderung ab. B. Das Verwaltungsgericht des Kantons Schwyz vereinigte die gegen beide Verfügungen erhobenen Beschwerden und wies diese mit Entscheid vom 27. März 2002 ab. B. Das Verwaltungsgericht des Kantons Schwyz vereinigte die gegen beide Verfügungen erhobenen Beschwerden und wies diese mit Entscheid vom 27. März 2002 ab. C. R._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, der vorinstanzliche Entscheid und die Verfügung vom 8. August 2001 seien aufzuheben und es sei festzustellen, dass der Ausgleichskasse keine Rückforderung von angeblich zu Unrecht bezogenen Ergänzungsleistungen zustehe; eventualiter sei die Sache an die Ausgleichskasse zur Überprüfung und Neuberechnung zurückzuweisen, wobei ihm vor Erlass einer neuen Verfügung das rechtliche Gehör zu gewähren sei. Subeventualiter sei die Verfügung der Ausgleichskasse vom 31. Januar 2002 aufzuheben und dem Erlassgesuch vom 7. September 2001 stattzugeben. Während das kantonale Gericht und die Ausgleichskasse auf Abweisung der Verwaltungsgerichtsbeschwerde schliessen, Letztere unter Verweis auf die Erwägungen der Vorinstanz im angefochtenen Entscheid und in deren letztinstanzlichen Stellungnahme, verzichtet das Bundesamt für Sozialversicherung (BSV) auf eine Vernehmlassung. 