Faits: A. K._ a été victime d'un accident sur un chantier, le 2 mars 2007, alors qu'il effectuait son premier jour de travail en qualité de manoeuvre. Cet événement a entraîné une fracture de la vertèbre L1 et de l'apophyse transverse gauche ainsi qu'une fracture des 9ème et 10ème côtes gauches. La Caisse nationale suisse d'assurance en cas d'accidents (CNA) a pris le cas en charge. Le 4 mars 2008, K._ s'est annoncé à l'assurance-invalidité. L'instruction de la demande, basée notamment sur le dossier de la CNA, a permis d'établir que l'assuré conservait une capacité de travail entière dans une activité adaptée à son état de santé somatique, à la condition que cette activité réponde aux conclusions du rapport de la Clinique X._ du 1er février 2008 (cf. rapport d'examen final du docteur C._, médecin d'arrondissement de la CNA, du 12 juin 2009, p. 3). En outre, aucune affection d'ordre psychique susceptible de réduire la capacité de travail n'a été diagnostiquée (rapport du docteur O._, du SMR, du 3 septembre 2008, p. 3 et 4). Par décision du 11 août 2009, l'Office de l'assurance-invalidité du canton de Fribourg a nié le droit de l'assuré à une rente d'invalidité après avoir fixé la perte de gain à 7 % (comparaison d'un revenu sans invalidité de 58'502 fr. avec un gain d'invalide de 54'129 fr., ce dernier ayant été établi selon l'Enquête suisse sur la structure des salaires 2006, table TA1, niveau 4). B. K._ a déféré cette décision à la Cour des assurances sociales du Tribunal cantonal de l'Etat de Fribourg, en concluant préalablement à la mise en oeuvre d'une expertise, principalement à l'octroi d'une pleine rente d'invalidité, subsidiairement à une rente partielle. Par jugement du 22 décembre 2011, la juridiction cantonale a rejeté le recours. C. K._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, en concluant à titre principal au versement d'une pleine rente d'invalidité, subsidiairement d'une rente partielle, très subsidiairement au renvoi de la cause au tribunal cantonal. L'office intimé et l'Office fédéral des assurances sociales n'ont pas été invités à se déterminer. 