Sachverhalt: A. Der 1935 geborene L._ meldete sich am 21. September 2004 zum Bezug von Ergänzungsleistungen zur Altersrente an. Auf dem Fragebogen erklärte er, keine BVG-Rente zu beziehen, jedoch im Juni 2000 eine Kapitalauszahlung von Fr. 100'000.- erhalten zu haben. Auf Nachfrage der Durchführungsstelle reichte L._ dieser eine Aufstellung ein, laut welcher er seit 30. Juni 2000 eine Altersrente aus der beruflichen Vorsorge in der Höhe von Fr. 7'136.- im Jahr (Fr. 594.- im Monat) bezieht. Mit Verfügung vom 6. Dezember 2004 sprach die EL-Durchführungsstelle L._ ab 1. Oktober 2004 eine Ergänzungsleistung von monatlich Fr. 444.- zu. Gemäss Berechnungsblatt war die Altersrente nach BVG nicht unter den Einnahmen aufgeführt. In der Folge wurde die Ergänzungsleistung für die jeweiligen Kalenderjahre neu festgesetzt, wobei die BVG-Rente ausser Acht gelassen wurde. Auf Aufforderung hin reichte der Versicherte der Durchführungsstelle im Rahmen der Überprüfung des Anspruchs am 1. April 2011 (Eingangsdatum) das entsprechende Formular ein, worin die bezogene BVG-Rente mit Fr. 7'128.- im Jahr beziffert wurde. Mit Verfügung vom 30. November 2011 setzte die EL-Durchführungsstelle den EL-Anspruch rückwirkend ab 1. Dezember 2006 neu fest; dabei bezog sie nunmehr die BVG-Altersrente von Fr. 594.- im Monat in die Berechnung mit ein, was zu einer Reduktion der jährlichen Ergänzungsleistung führte. Gleichzeitig forderte sie von L._ die vom 1. Dezember 2006 bis 30. November 2011 zuviel ausgerichtete Ergänzungsleistung im Gesamtbetrag von Fr. 32'810.- zurück. Das vom Versicherten am 19. Dezember 2011 gestellte Gesuch um Erlass der Rückforderung lehnte die Durchführungsstelle mit Verfügung vom 17. Januar 2012 ab, woran sie mit Einspracheentscheid vom 4. Mai 2012 festhielt. B. Die hiegegen eingereichte Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 19. April 2013 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt L._ beantragen, unter Aufhebung des vorinstanzlichen Entscheides und des Einspracheentscheides sei ihm die Rückerstattung der zuviel bezogenen Ergänzungsleistungen zu erlassen; eventuell sei die Sache zu neuer Beurteilung an das kantonale Gericht zurückzuweisen. Ferner ersucht er um die Bewilligung der unentgeltlichen Rechtspflege. 