Sachverhalt: A. A.a Der 1960 geborene K._ meldete sich im März 2003 bei der Invalidenversicherung zum Leistungsbezug an. Namentlich gestützt auf die Berichte des Hausarztes Dr. med. M._ vom 5. Mai 2003 und des Dr. med. L._ vom 30. Juni 2003 sprach ihm die IV-Stelle des Kantons Aargau mit Wirkung ab 1. Februar 2003 eine ganze Invalidenrente zu (Verfügung vom 7. Januar 2004). A.b Im September 2004 leitete die IV-Stelle ein Rentenrevisionsverfahren ein. Am 13. Februar 2007 teilte sie dem Versicherten mit, bei der Überprüfung des IV-Grades habe keine Änderung festgestellt werden können, die sich auf den Rentenanspruch auswirken würde, weshalb weiterhin eine ganze Rente ausgerichtet werde. A.c In der Folge holte die IV-Stelle den Verlaufsbericht des Dr. med. M._ vom 19. Juni 2007 ein, zog Berichte des Neurologen Dr. med. R._ bei und gab das interdisziplinäre MEDAS-Gutachten vom 25. August 2008 in Auftrag. Mit Verfügung vom 17. November 2009 eröffnete sie dem Versicherten die Herabsetzung der ganzen auf eine halbe Invalidenrente. B. Dagegen liess K._ Beschwerde führen mit dem Begehren, es sei ihm weiterhin eine ganze Invalidenrente zu gewähren. In verfahrensrechtlicher Hinsicht beantragte er die Durchführung einer öffentlichen Verhandlung mit Parteibefragung unter Beizug eines türkischsprachigen Dolmetschers. Mit Entscheid vom 11. August 2010 wies das Versicherungsgericht des Kantons Aargau die Beschwerde ab, ohne eine öffentliche Verhandlung durchgeführt zu haben. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt K._ den Antrag auf Ausrichtung einer ganzen Invalidenrente erneuern. Eventuell sei die Sache an das kantonale Gericht zurückzuweisen mit der Weisung, eine öffentliche Verhandlung mit Parteibefragung unter Beizug eines türkischsprachigen Dolmetschers durchzuführen, weitere Erhebung des Sachverhalts zu treffen und neu zu entscheiden. Die IV-Stelle schliesst auf Abweisung der Beschwerde, während das kantonale Gericht und das Bundesamt für Sozialversicherungen auf eine Stellungnahme verzichten. 