Sachverhalt: A. Die 1957 geborene I._ hatte sich erstmals am 12. Juni 2002 bei der Invalidenversicherung zum Bezug von Leistungen angemeldet. Dieses Gesuch wurde von der IV-Stelle Basel-Stadt abgewiesen. Am 28. Januar 2008 reichte die Versicherte erneut ein Leistungsbegehren ein, worauf die IV-Stelle mit Verfügung vom 14. Mai 2008 nicht eintrat. Mit Entscheid vom 17. März 2009 hiess das Sozialversicherungsgericht Basel-Stadt die dagegen erhobene Beschwerde gut und wies die IV-Stelle an, auf die Neuanmeldung einzutreten und das neue Leistungsbegehren zu prüfen. In der Folge gab die IV-Stelle beim Institut X._ ein interdisziplinäres Gutachten (vom 27. Januar 2010) in Auftrag. Gestützt darauf kam sie mit Vorbescheid vom 5. Mai 2010 zum Schluss, die Beschwerdeführerin habe keinen Anspruch auf eine Invalidenrente (Invaliditätsgrad von 20 %). Mit Einwand vom 3. Juni 2010 und ergänzender Begründung vom 25. Juni 2010 reichte die Versicherte zwei Arztberichte vom 1. und 3. Juni 2010 ein und ersuchte um eine Frist bis Ende August 2010, um weitere Berichte des behandelnden Arztes Dr. med. H._ sowie der Kliniken Y._ einzureichen. Mit Schreiben vom 2. Juli 2010 teilte die IV-Stelle mit, es gebe keine weitere Frist mehr, später eintreffende medizinische Berichte würden nicht mehr berücksichtigt. Nachdem die IV-Stelle am 2. Juli 2010 beim Regionalen Ärztlichen Dienst (RAD) rückgefragt hatte, holte sie beim Institut X._ eine Stellungnahme vom 28. Oktober 2010 ein, und nach erneuter Stellungnahme des RAD vom 22. November 2010 erliess sie am 1. Dezember 2010 eine im Wesentlichen dem Vorbescheid vom 5. Mai 2010 entsprechende Verfügung. B. Die von I._ dagegen erhobene Beschwerde, mit welcher sie mit Bezug auf die Vernehmlassung der IV-Stelle vom 25. Februar 2011 in der Replik vom 4. Mai 2011 eine Verletzung des rechtlichen Gehörs rügte, wies das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 28. Juni 2011 ab. C. I._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Anträgen, es sei der vorinstanzliche Entscheid aufzuheben und die Sache zur korrekten Verfahrensdurchführung sowie zur Neuprüfung des Rentenanspruchs an die Beschwerdegegnerin zurückzuweisen, eventualiter sei ihr mindestens eine Viertelsrente zuzusprechen. Unter Kosten- und Entschädigungsfolgen sowie mit Begehren um Neuverlegung der Kosten- und Parteientschädigung des kantonalen Verfahrens ersucht sie zudem um Gewährung der unentgeltlichen Verbeiständung. Die IV-Stelle und das Sozialversicherungsgericht Basel-Stadt schliessen auf Abweisung der Beschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet hat. 