Faits: A. A.a A._ travaillait depuis le 18 août 2003 en qualité de man?uvre sur le chantier souterrain de percement du tunnel de base de X._ pour le compte de Y._ SA. A ce titre, il était assuré contre les accidents auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA). Le 23 mars 2004, il a été blessé à la tête, au bras et à la jambe gauches par un bloc de rocher tombant d'un concasseur. A l'hôpital Z._ où il a été admis en urgence, les médecins ont diagnostiqué une fracture comminutive ouverte de stade II du tibia et du péroné gauches, une fracture du tiers médian du radius gauche et des blessures au front, au dos du nez et sous l'?il gauche. Les fractures ont été ostéosynthésées. Après avoir séjourné jusqu'au 13 avril 2004 à l'hôpital, l'assuré a été transféré à la Clinique W._, où il est resté du 14 avril au 15 juin 2004. Par la suite, A._ a présenté un retard dans la consolidation osseuse au niveau de la fracture comminutive du tibia (rapport du docteur P._, spécialiste en chirurgie et médecin d'arrondissement du 15 février 2006) et une pseudarthrose infectée à staphylocoques coagulase négatif du tibia gauche, diagnostiquée par les docteurs E._, R._ et C._, chirurgiens au Service d'orthopédie et de traumatologie de l'appareil locomoteur de V._ (rapport du 7 juin 2007). En raison de ces atteintes, il a subi de nombreuses interventions chirurgicales et effectué deux séjours supplémentaires à la Clinique W._. Dans un rapport du 30 août 2010, le docteur U._, spécialiste en chirurgie et traumatologie et médecin d'arrondissement, a admis que l'assuré était apte au travail à 100 % dans une activité légère et adaptée (excluant le port de charges supérieures à 10 kg, les marches prolongées ainsi que les montées ou descentes d'escaliers ou d'échelles). Concernant l'indemnité pour atteinte à l'intégrité, ce médecin a confirmé l'appréciation du docteur P._, selon laquelle le taux de l'atteinte était de 12,5 % (rapport du 5 mars 2007). Par décision du 7 janvier 2011, la CNA a fixé l'indemnité pour atteinte à l'intégrité à 12,5 % et a refusé l'octroi d'une rente d'invalidité, estimant que les séquelles de l'accident du 23 mars 2004 n'avaient pas entraîné une diminution importante de la capacité de gain de l'assuré. Le 30 mars 2011, la CNA a rejeté l'opposition de l'assuré. Elle a considéré, sur la base de descriptions de postes de travail, que l'assuré était encore à même de réaliser un salaire annuel de 54'057 fr. en tenant compte des limitations fonctionnelles. Pour fixer le revenu sans invalidité, elle a estimé que l'assuré aurait, sans accident, continué à travailler dans le tunnel jusqu'en 2006, année durant laquelle le chantier a été terminé, et que, par la suite, son employeur lui aurait proposé un autre travail de man?uvre mais pas sur un chantier souterrain. Ainsi, la CNA a retenu comme établi au degré de la vraisemblance prépondérante, que le salaire réalisable en 2009-2010, ne comprenait pas les allocations pour un travail en équipes et dans une galerie. Elle a donc fixé le revenu sans invalidité à 57'999 fr. pour 2010 (2112 heures annuelles à raison de 25 fr 35 par heure, plus 8.33 % pour le 13ème salaire). Ainsi, le taux d'invalidité s'élevait à 6.8 %. A.b Le 4 avril 2005, A._ a déposé une demande de prestations de l'assurance-invalidité auprès de l'Office cantonal AI du Valais (ci-après: l'office AI) en vue de l'octroi d'une orientation professionnelle, d'un reclassement dans une nouvelle profession, d'un placement et d'une rente. Par projet d'acceptation de rente du 18 janvier 2008, confirmé par décision du 7 avril 2008, l'office AI a informé l'assuré qu'un droit à une rente entière d'invalidité lui était reconnu à partir du 1er mars 2005. Par projet de décision du 25 juin 2010, confirmé par décision du 6 septembre 2010, l'office AI a fait savoir à l'assuré qu'il refusait la prise en charge de mesure de reclassement, car son état de santé lui laissait une pleine capacité de travail dans toute activité légère et adaptée dès le 15 mars 2010 au plus tard, ce qui avait pour effet de supprimer toute incapacité de gain. Par projet de décision du 21 octobre 2010, confirmé par décision du 1er décembre 2010, l'office AI a supprimé la rente de l'assuré dès le premier jour du deuxième mois suivant la notification de la décision définitive. Se fondant sur l'Enquête suisse sur la structure des salaires (ESS), l'office AI a retenu un taux d'invalidité de 1 % sur la base d'un revenu d'invalide de 54'110 fr. 75 (ESS 2008, TA1, valeur centrale, degré de qualification 4 avec une réduction de 10 % pour tenir des circonstances professionnelles et personnelles) et d'un revenu sans invalidité de 54'708 fr. 55 pour une activité de garçon de café. Cette décision a fait l'objet d'un recours devant le Tribunal cantonal valaisan, Cour des assurances sociales, qui l'a rejeté par jugement du 3 janvier 2012. Saisi d'un recours en matière de droit public contre ce jugement, le Tribunal fédéral a statué par arrêt dont la date est identique à celle du présent arrêt (cause 8C_144/2012). B. L'intéressé a déféré la décision sur opposition du 30 mars 2011 de la CNA au Tribunal cantonal valaisan, Cour des assurances sociales, qui a rejeté le recours par jugement du 3 janvier 2012. C. A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut, sous suite de frais et dépens, principalement, à l'octroi d'une rente basée sur un taux d'invalidité de 40 % et, subsidiairement, au renvoi du dossier à la CNA pour calcul du revenu sans invalidité et nouvelle décision. La CNA a conclu au rejet du recours, alors que l'Office fédéral de la santé publique a renoncé à se déterminer. 