Sachverhalt: A. Der 1957 geborene T._ arbeitete seit 1999 als Dachdecker bei der Firma P._. Er meldete sich am 22. Oktober 2008 wegen Schmerzen im Kreuz mit Ausstrahlung ins rechte Bein sowie Schmerzen im Nacken-Armbereich rechts bei der Invalidenversicherung zum Rentenbezug an. Die IV-Stelle des Kantons Aargau klärte die persönliche, medizinische und erwerbliche Situation ab. Nach einer gescheiterten Integrationsmassnahme legte sie die Unterlagen dem Regionalen Ärztlichen Dienst (RAD) zur Stellungnahme vor und holte ein Gutachten des Zentrums S._ vom 4. März 2010 ein. Nach Konsultation des RAD und Durchführung des Vorbescheidverfahrens verneinte die IV-Stelle mit Verfügung vom 28. September 2010 ausgehend von einem Invaliditätsgrad von 13 % den Anspruch auf eine Invalidenrente. B. Die dagegen erhobene Beschwerde, mit welcher T._ die Zusprechung einer Rente, eventualiter die Rückweisung der Sache an die IV-Stelle zur Berechnung der Rente beantragen liess, wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 8. Juni 2011 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt T._ beantragen, es sei ihm unter Aufhebung des angefochtenen Entscheids eine Invalidenrente zuzusprechen, eventualiter sei die Sache zu weiteren Abklärungen an die Vorinstanz zurückzuweisen. Gleichzeitig ersucht er um Gewährung der unentgeltlichen Rechtspflege. Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt. 