Sachverhalt: A. Der 1962 geborene B._ bezieht seit 1. Juli 1998 (mit Unterbrüchen) eine Ergänzungsleistung zur Rente der Invalidenversicherung. Nachdem die Ausgleichskasse Basel-Landschaft erfahren hatte, dass sich B._ vom 30. Juni 2003 bis 10. Februar 2004 in Untersuchungshaft und anschliessend im Massnahmenvollzug befunden hatte, verneinte sie rückwirkend per 1. Juli 2003 einen Anspruch auf Ergänzungsleistung und forderte mit Verfügung vom 5. Juli 2004 zu Unrecht bezogene Leistungen im Umfang von Fr. 9'974.- zurück. Die hiegegen erhobene Einsprache wies die Ausgleichskasse mit Einspracheentscheid vom 1. April 2005 ab. Nachdem das Kantonsgericht Basel-Landschaft mit in Rechtskraft erwachsenem Entscheid vom 28. Oktober 2005 auf Rechtmässigkeit der Rückforderungsverfügung vom 5. Juli 2004 erkannte, liess B._ um Erlass der Rückerstattungsschuld ersuchen. Mit Verfügung vom 2. Mai 2006 wies die Ausgleichskasse das Erlassgesuch ab. Daran hielt sie auf Einsprache hin fest (Einspracheentscheid vom 15. September 2006). B. Die dagegen erhobene Beschwerde wies das Kantonsgericht-Basel-Landschaft mit Entscheid vom 12. August 2008 ab. C. B._ lässt Beschwerde führen und beantragen, in Aufhebung des kantonalen Gerichtsentscheides und des Einspracheenscheides sei die Rückerstattungsschuld zu erlassen. Ferner wird um aufschiebende Wirkung der Beschwerde ersucht. Die Ausgleichskasse schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. 