Faits: A. F._ a travaillé en qualité de maçon et de manoeuvre dans le bâtiment. Le 21 janvier 2000, il a déposé une demande de prestations de l'assurance-invalidité, en alléguant souffrir de douleurs dorsales depuis janvier 1997. L'Office de l'assurance-invalidité du canton de Neuchâtel (l'office AI) a rendu une décision sur opposition, le 3 novembre 2003, qui a été annulée par le Tribunal administratif de la République et canton de Neuchâtel (aujourd'hui : Tribunal cantonal, Cour de droit public) dans un jugement du 29 juillet 2005. Saisi par l'office AI, le Tribunal fédéral des assurances a confirmé ce jugement, par arrêt du 7 novembre 2006 (I 626/05) auquel il est renvoyé. A la suite de cet arrêt, l'office AI a repris l'instruction de la demande, dans le cadre de laquelle il a confié un mandat d'expertise pluridisciplinaire à la Clinique X._. Le rapport d'expertise a été déposé le 19 juin 2007. A la lumière de celui-ci, le Service médical régional AI a retenu que la capacité de travail de l'assuré était nulle dans l'activité habituelle depuis le 2 décembre 1999; en revanche, dans une activité adaptée aux limitations fonctionnelles, elle était de 100 % du 2 décembre 1999 au 31 décembre 2004, et de 60 % depuis le 1er janvier 2005 (avis des 7 août et 8 novembre 2007). Par décision du 26 août 2008, l'office AI a alloué à l'assuré une demi-rente d'invalidité à compter du 1er janvier 2006. B. F._ a déféré cette décision au Tribunal cantonal en concluant au renvoi de la cause à l'administration, pour le cas où la nullité de cette décision ne serait pas constatée. Par jugement du 21 mars 2011, la juridiction cantonale a rejeté le recours. C. F._ interjette un recours en matière de droit public contre ce jugement. Avec suite de frais et dépens, il conclut principalement à la reconnaissance de son droit à une rente d'invalidité depuis le 1er janvier 2002, au versement d'une demi-rente jusqu'au 31 décembre 2003 puis à un trois-quarts de rente dès le 1er janvier 2004, subsidiairement au renvoi de la cause pour instruction complémentaire. L'office intimé et l'Office fédéral des assurances sociales n'ont pas été invités à se déterminer. 