Faits: A. R._, né en 1962, a travaillé en qualité d'aide-jardinier. En 1995, il a été victime d'un accident de la circulation. L'assuré a été hospitalisé durant 48 heures à l'Hôpital X._ pour des contusions et un traumatisme crânio-cérébral mineur. Cet accident a également engendré un état de stress post-traumatique (rapport du docteur S._ du 14 octobre 1996, psychiatre mandaté par l'assureur-accidents). Par décision du 8 avril 1997, l'Office de l'assurance-invalidité pour le canton de Vaud (l'office AI) a mis l'assuré au bénéfice d'une rente entière d'invalidité à compter du 1er juin 1996, fondée sur un degré d'invalidité de 100 %. Dans le cadre d'une procédure de révision du droit à la rente initiée par l'office AI en avril 1999, les docteurs B._ et P._, du Centre psychiatrique Y._, ont attesté que la capacité de travail de l'assuré avait subi une réduction de 75 % après l'accident, qu'elle n'avait pas pu être améliorée et qu'elle ne s'améliorera probablement pas. A leur avis, il n'y avait pas de capacité de travail exigible (rapport du 6 juin 2001). Par communication du 22 avril 2002, consécutive à un avis des docteurs V._ et L._, médecins au SMR (du 18 avril 2002), l'office AI a fait savoir à l'assuré que son degré d'invalidité n'avait pas changé au point d'influencer le droit à la rente et qu'il continuerait à bénéficier de cette prestation. A l'occasion d'une nouvelle procédure de révision de la rente ouverte par l'office AI en avril 2005, la doctoresse A._, psychiatre au SMR, a examiné l'assuré. Dans son rapport du 6 octobre 2006, elle n'a retenu aucun diagnostic psychiatrique avec répercussion sur la capacité de travail (F71.1); sans répercussion sur celle-ci, elle a attesté une majoration de troubles physiques pour des raisons psychologiques (F68.0) avec mauvaise collaboration et aucune attitude visant à réduire le dommage. Selon la doctoresse A._, la capacité de travail exigible était de 100% depuis juin 2001 sur le plan psychiatrique, aussi bien dans l'activité habituelle (aide-jardinier) que dans une activité adaptée. Par décision du 11 mai 2009, faisant suite à un projet du 10 décembre 2008, l'office AI a supprimé la rente. B. R._ a déféré cette décision au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, qui l'a débouté par jugement du 16 novembre 2010. C. R._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, avec suite de frais et dépens, en concluant au renvoi de la cause aux premiers juges. L'intimé conclut implicitement au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. 