Sachverhalt: A. Mit Verfügungen vom 28. November 2008 setzte die Ausgleichskasse des Kantons Solothurn die der 1944 geborenen Rentenbezügerin Q._ ab 1. Dezember 2005 zustehenden Ergänzungsleistungen fest. Mit Verfügung vom 17. November 2009 stellte sie die Zahlung ab 1. Dezember 2009 ein. Am 5. November 2009 forderte sie bei der Versicherten für zu viel bezogene Ergänzungsleistungen in der Zeit vom 1. Januar bis 31. Oktober 2009 einen Betrag von 5'192 Franken (4 Monate zu 1'298 Franken) zurück. Diese Verfügung erwuchs unangefochten in Rechtskraft. Am 18. November 2009 ersuchte die Versicherte um Erlass der Rückforderung. Das Rückerstattungsgesuch lehnte die Ausgleichskasse mit Verfügung vom 18. Januar 2010 ab, was sie mit Einspracheentscheid vom 28. Juni 2010 bestätigte. Zur Begründung wurde erklärt, es fehle an der Erlassvoraussetzung des guten Glaubens. B. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 30. November 2010 ab. C. Q._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und damit hauptsächlich die Aufhebung des vorinstanzlichen Entscheides beantragen sowie, an zweiter Stelle, die Anordnung der Rückzahlung von lediglich einer monatlichen Ergänzungsleistung. Die Ausgleichskasse schliesst auf Abweisung der Beschwerde, soweit darauf eingetreten werden kann. Auch das Versicherungsgericht schliesst auf Abweisung der Beschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet. 