Sachverhalt: A. G._, geboren 1954, war am 21. Juli 1998 in einen Verkehrsunfall verwickelt, als er als Motorradfahrer von einem Personenwagen linksseitig angefahren wurde. Die Klinik X._, wo er sich vom 5. Oktober bis 2. November 1999 stationär aufhielt, diagnostizierte den Status nach Verkehrsunfall mit Contusio capitis, HWS-Distorsion und leichter traumatischer Hirnverletzung, sowie konsekutiv mit einem persistierenden cervico-cephalen Symptomkomplex, posttraumatischen migräniformen Kopfschmerzen, einem panvertebralen Schmerzsyndrom, neuropsychologischen Funktionsstörungen, vegetativer Dysregulation sowie einer Anpassungsstörung (ICD-10: 43.21) mit depressiv-dysphorischen Anteilen (Bericht vom 30 November 1999). Am 10. März 2000 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Aargau sprach ihm am 14. Januar 2002 ab 1. Juli 1999 eine ganze Invalidenrente zu. Am 16. September 2002 wurde der IV-Stelle zur Kenntnis gebracht, G._ habe gemäss einem Zeitungsbericht ein Tennisturnier in seiner Kategorie gewonnen. Die IV-Stelle leitete ein Revisionsverfahren ein und holte ein interdisziplinäres Gutachten beim Zentrum Y._ ein. Gestützt auf das Gutachten des Zentrums Y._ vom 6. April 2004 reduzierte die IV-Stelle den Anspruch ab 1. August 2004 auf eine halbe Invalidenrente (Verfügung vom 21. Juni 2004, bestätigt mit Einspracheentscheid vom 20. April 2006). Die dagegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons Aargau mit Entscheid vom 13. Dezember 2006 teilweise gut und wies die Sache zu erneuter Abklärung an die IV-Stelle zurück. Mit Verfügung vom 21. November 2008 reduzierte die IV-Stelle die ganze Invalidenrente gestützt auf das interdisziplinäre MEDAS-Gutachten vom 19. Mai 2008 per 1. August 2004 auf eine halbe Rente und hob diese auf Ende 2008 vollumfänglich auf. B. G._ liess dagegen Beschwerde erheben. Im Rahmen des kantonalen Verfahrens wurde ihm eine reformatio in peius angedroht. Mit Entscheid vom 8. April 2010 wies das Versicherungsgericht des Kantons Aargau seine Beschwerde ab. C. G._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es seien der vorinstanzliche Entscheid aufzuheben und ihm auch nach dem 1. August 2004 weiterhin eine ganze Invalidenrente auszurichten. Als Beleg reichte er einen Bericht der Klinik A._ vom 18. Mai 2010 ein. Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. 