Sachverhalt: A. Mit Verfügung vom 29. Januar 2003 hatte die IV-Stelle des Kantons Aargau dem 1962 geborenen D._ ab 1. März 2001 eine Hilflosenentschädigung leichten Grades zugesprochen. Anlässlich der 4. IV-Revision überprüfte sie den Anspruch und stellte fest, dass dieser weiterhin bestehe. Mit Schreiben vom 11. Oktober 2005 teilte die Ausgleichskasse der Schweizer Maschinenindustrie dem Versicherten mit, sein Rentendossier werde der kantonalen Ausgleichskasse übermittelt, sie stelle ihre Zahlungen per Ende November 2005 ein und die neu zuständige kantonale Ausgleichskasse werde ihm in Zukunft nicht nur die Ergänzungsleistungen, sondern auch die IV-Rente auszahlen. Mit Verfügung vom 19. Oktober 2005 teilte die IV-Stelle D._ mit, er habe ab 1. Dezember 2005 Anspruch auf eine Hilflosenentschädigung leichten Grades in der Höhe von Fr. 430.- monatlich, und mit Verfügung vom 24. Oktober 2005 hob sie die Hilflosenentschädigung per 30. November 2005 auf, ohne jedoch die monatliche Auszahlung einzustellen. Nachdem die Ausgleichskasse dem Versicherten mit Schreiben vom 13. April 2010 eröffnet hatte, die seit 30. November 2005 unrechtmässig bezogenen Leistungen beliefen sich auf Fr. 23'038.-, und ihm Gelegenheit zur Stellungnahme eingeräumt hatte, liess D._ mitteilen, er habe die Verfügung vom 24. Oktober 2005 wohl erhalten, jedoch wegen seiner mangelnden Deutschkenntnisse nicht verstanden. Er habe bis zur Verfügung vom 13. April 2010 nichts bemerkt und nichts verheimlichen wollen. Er könne den Betrag nicht zurückbezahlen und ersuche daher um Erlass der Forderung. Mit Verfügung vom 23. April 2010 verlangte die IV-Stelle die Rückerstattung der zu Unrecht bezogenen Hilflosenentschädigung in der Höhe von Fr. 23'038.- und mit Verfügung vom 8. Juni 2010 wies sie das Gesuch um Erlass der Rückforderung mangels guten Glaubens des Versicherten ab. B. Die dagegen erhobene Beschwerde, mit welcher D._ die Aufhebung der Verfügung vom 8. Juni 2010 und den Erlass der Rückforderung beantragen liess, hiess das Versicherungsgericht des Kantons Aargau mit Entscheid vom 24. Mai 2011 teilweise gut, hob die Verfügung vom 8. Juni 2010 auf und wies die Sache zur Prüfung der grossen Härte an die IV-Stelle zurück. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt die IV-Stelle die Aufhebung des Entscheids des Versicherungsgerichts des Kantons Aargau vom 24. Mai 2011 und die Bestätigung ihrer Verfügung vom 8. Juni 2010. Des Weiteren ersucht sie um Gewährung der aufschiebenden Wirkung ihrer Beschwerde. Sie macht unter anderem geltend, D._ habe gegen die Aufhebungsverfügung vom 24. Oktober 2005 Einsprache erhoben, welche mit Entscheid vom 24. November 2005 abgewiesen worden sei, und legt neu die entsprechenden Urkunden auf. D._ und das Versicherungsgericht des Kantons Aargau schliessen auf Abweisung der Beschwerde. Beide machen u.A. geltend, die neu eingereichten Urkunden seien nicht zu berücksichtigen. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. 