Sachverhalt: A. Mit Verfügung vom 23 Juli 2001 sprach die IV-Stelle des Kantons Aargau dem 1960 geborenen R._ aufgrund eines Invaliditätsgrades von 100 % ab 1. August 2000 eine ganze Rente zu. Dieser Anspruch wurde verschiedentlich revisionsweise bestätigt (Mitteilungen vom 7. Dezember 2001 und vom 12. Januar 2007). Mit Vorbescheid vom 18. Februar 2009 teilte die IV-Stelle dem Versicherten mit, sie gedenke die Verfügung vom 23. Juli 2001 in Wiedererwägung zu ziehen, weil sie offensichtlich unrichtig gewesen sei. In der Folge hob sie die Rente mit Verfügung vom 22. März 2010 auf Ende des folgenden Monats auf. B. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 20. Oktober 2010 ab. C. R._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des angefochtenen Entscheides und der Wiedererwägungsverfügung vom 22. März 2010 sei ihm weiterhin eine ganze Invalidenrente auszurichten. Zudem ersucht er um Gewährung der unentgeltlichen Rechtspflege. Die IV-Stelle schliesst auf Abweisung der Beschwerde, während das kantonale Gericht und das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichten. 