Faits: A. A.a X._, né en 1976, est un coureur cycliste de catégorie élite, spécialiste du vélo tout-terrain (VTT; en anglais: mountain bike). Il est titulaire d'une licence délivrée par la Fédération Z._ (ci-après: Z._). L'Union Cycliste Internationale (ci-après: UCI), dont Z._ fait partie, est l'association des fédérations nationales de cyclisme. Afin de lutter contre le dopage dans ce sport, elle a édicté un règlement antidopage (ci-après: RAD). A.b Le 6 juin 2010, X._ a subi un contrôle antidopage alors qu'il participait à une compétition organisée sous l'égide de l'UCI. Le 19 du même mois, il s'est soumis à un contrôle de même nature, effectué hors compétition. L'analyse des deux échantillons, confirmée par une contre-analyse, a révélé la présence d'une substance interdite, le clomifène, dans les urines du coureur cycliste. Au mois de juillet 2010, celui-ci a été licencié par son équipe et par un autre employeur qui lui assuraient une rémunération annuelle globale de quelque 154'000 euros. Il a ensuite ouvert un magasin de sport. Par lettre du 25 août 2010, Z._ a informé l'UCI de l'ouverture d'une enquête disciplinaire à l'encontre de X._ en raison de ces deux infractions présumées de dopage. En date du 20 octobre 2010, l'UCI a interpellé Z._ au sujet de l'application de la sanction financière prévue par l'art. 326 RAD. Selon l'alinéa 1, lettre a, de cette disposition, le coureur cycliste, membre d'une équipe enregistrée auprès de l'UCI, qui est suspendu pour deux ans ou plus, écope, en sus, d'une amende obligatoire dont le montant, égal au revenu annuel net provenant du cyclisme, soit le 70% du revenu brut correspondant, pourra être réduit, si la situation financière du licencié concerné le justifie, mais à concurrence de la moitié au maximum. Par décision du 22 novembre 2010, la Commission disciplinaire en matière de dopage de Z._ a prononcé, à l'encontre du coureur incriminé, une suspension de deux ans à partir de cette date-là ainsi qu'une amende de 7'500 euros. B. B.a Le 5 janvier 2011, l'UCI a déposé une déclaration d'appel devant le Tribunal Arbitral du Sport (TAS), en désignant Me Olivier Carrard comme arbitre. Dans son mémoire d'appel du 17 janvier 2011, elle a conclu à ce que X._ soit condamné à payer une amende de 104'432,30 euros. En date du 31 janvier 2011, le coureur cycliste a déclaré nommer le professeur Ulrich Haas en tant qu'arbitre. Z._ a acquiescé à cette nomination. Par avis du 10 mars 2011, le Secrétaire général du TAS a indiqué aux parties que le litige les opposant serait tranché par une formation arbitrale (ci-après: la Formation) composée du professeur Luigi Fumagalli, président, ainsi que des coarbitres Carrard et Haas, précités. A la même date, Z._ a déposé un mémoire de réponse au terme duquel elle concluait à l'irrecevabilité ou, sinon, au rejet de l'appel et à la confirmation de la décision attaquée. Le 8 avril 2011, X._, représenté par Me Antonio Rigozzi, a adressé sa réponse au TAS. Il a conclu, en plus du rejet de l'appel, à la réforme de la décision entreprise afin que le point de départ de la période de suspension fût fixé au 27 juillet 2010 (au lieu du 22 novembre 2010), cette mesure devant ainsi être levée le 26 juillet 2012, et l'amende supprimée, voire ramenée à un franc symbolique. Conformément à l'ordonnance de procédure du 23 juin 2011 signée par les parties, l'audience de jugement a été tenue le 13 juillet 2011. Au cour de cette audience, le conseil de X._ a interpellé l'arbitre Carrard pour lui demander, en substance, si, en dépit du fait qu'il avait déjà siégé par deux fois, en tant qu'arbitre désigné par l'UCI, dans une Formation ayant traité de la sanction financière prévue à l'art. 326 RAD (sentence du 4 octobre 2010 dans la cause TAS 2010/A/2063, UCI c. José Antonio Redondo Ramos & Real Federación Espanõla De Ciclismo [RFEC] [ci-après: la sentence Redondo], et sentence du 18 février 2011 dans la cause TAS 2010/A/2101, UCI c. Aurélien Duval & Fédération Française de Cyclisme [FFC] [ci-après: la sentence Duval]), il s'estimait capable de faire preuve d'une ouverture d'esprit suffisante pour entendre les arguments des parties à ce sujet et les discuter avec ses coarbitres sans a priori. Satisfait de la réponse affirmative de l'arbitre désigné par l'UCI, Me Rigozzi a indiqué que son mandant n'avait pas l'intention de contester la présence de cet arbitre au sein de la Formation, ajoutant qu'il n'avait "aucun problème avec la constitution du Panel" (traduction française du verbatim anglais de l'audience, pièces 10 et 10 bis rec.). A l'issue de l'audience, les parties ont confirmé n'avoir aucune objection à l'encontre de la procédure suivie et indiqué qu'elles estimaient que leur droit d'être entendues avait été respecté. Les 19 et 27 juillet 2011, les parties ont été invitées à déposer des écritures complémentaires portant, notamment, sur la recevabilité des conclusions de X._ allant au-delà du rejet de l'appel et sur le point de savoir si l'art. 335 RAD confère ou non le droit de former une demande reconventionnelle. Elles se sont exécutées le 9 août 2011. Le délai pour rendre la sentence a été prolongé à plusieurs reprises. Le conseil de X._ s'en est étonné dans un fax du 2 décembre 2011. Puis, dans un courriel du 11 décembre 2011, il a invité l'UCI à lui indiquer s'il existait d'autres affaires en cours au sujet de la validité des sanctions financières prévues par le RAD et, dans l'affirmative, quelle était la composition des Formations appelées à les traiter, en particulier l'identité de l'arbitre désigné par elle. A ce courriel étaient jointes deux pièces ainsi décrites: 20111202171333972.pdf et 20111202100857223.pdf. (pièce 14 rec.). Sans réponse de l'UCI, X._ a soumis la même requête au TAS par fax du 16 décembre 2011 auquel était annexée une photocopie du susdit courriel. L'UCI a répondu, dans un message électronique du même jour, qu'elle ne voyait pas sur quelle base elle devrait fournir à l'intéressé des informations sur d'autres affaires la concernant, pendantes devant le TAS. B.b Par fax du 20 décembre 2011, le TAS a communiqué aux conseils des parties le dispositif de sa sentence. Il en ressort, en résumé, que l'appel de l'UCI a été partiellement admis et X._, dont la demande reconventionnelle a été déclarée irrecevable, condamné à payer à l'appelante une amende de 20'800 euros, la décision disciplinaire attaquée étant confirmée pour le surplus. Les motifs de cette sentence ont été communiqués aux mandataires des parties en annexe à une télécopie du 23 décembre 2011. Le 29 décembre 2011, le conseil de X._, constatant que ladite sentence faisait référence à deux précédents du TAS non publiés (sentence du 24 mars 2011 dans les causes TAS 2010/A/2203, Mickael Larpe c. FFC, et TAS 2010/A/2214, UCI c. Mickael Larpe & FFC [ci-après: la sentence Larpe], et sentence du 30 mai 2011 dans la cause TAS 2010/A/2288, UCI c. Massimo Giunti & Federazione Ciclistica Italiana [FCI] & Comitato Olimpico Nationale Italiano [CONI] [ci-après: la sentence Giunti]), dont il alléguait ignorer l'existence, a demandé au TAS de lui en communiquer une copie et, en outre, de répondre à la question qu'il lui avait posée dans son fax du 16 décembre 2011 (pièce 19 rec.). Par télécopie du 10 janvier 2012, le secrétariat du TAS a transmis à Me Rigozzi une copie des sentences Larpe et Giunti; il s'est dit, pour le surplus, dans l'impossibilité de lui fournir les informations requises, étant donné le caractère confidentiel des procédures pendantes. Le 19 janvier 2012, le TAS a notifié l'original de la sentence aux avocats des parties. Par fax du 6 février 2012, le conseil de X._, déplorant le manque total de transparence dont l'arbitre Carrard avait fait preuve tout au long de la procédure, a demandé au TAS de reconsidérer son refus de le renseigner sur l'existence d'autres affaires pendantes concernant la question litigieuse dans lesquelles l'UCI aurait également pu nommer cet arbitre, comme elle l'avait fait dans les causes Larpe et Giunti. Il s'est vu opposer derechef une fin de non-recevoir par le TAS, lequel lui a confirmé sa pratique consistant à ne pas fournir d'informations sur les affaires en cours, l'a renvoyé aux déclarations qu'il avait faites lors de l'audience de jugement au sujet de l'indépendance de l'arbitre Carrard et a précisé, pour terminer, que les sentences Larpe et Giunti, rendues à l'unanimité, ne traitaient pas de la validité de l'art. 326 RAD. Le conseil actuel de X._, Me Sébastien Besson, avocat à Genève, indique avoir été contacté, le 17 février 2012, par un autre coureur cycliste ayant reçu une sentence dans une cause où l'UCI avait nommé Olivier Carrard comme arbitre (sentence du 29 décembre 2011 dans la cause TAS 2011/A/2349, UCI c. Roy Sentjens & RLVB [ci-après: la sentence Sentjens]). C. Le 20 février 2012, X._ (ci-après: le recourant) a formé un recours en matière civile au Tribunal fédéral en vue d'obtenir l'annulation de la sentence du TAS et la récusation de l'arbitre Carrard. Il soutient que la sentence attaquée a été prononcée par un tribunal arbitral irrégulièrement constitué (art. 190 al. 2 let. a LDIP) et qu'elle viole son droit d'être entendu (art. 190 al. 2 let. d LDIP). Le recourant formule également un certain nombre de requêtes procédurales sur la base de l'art. 55 al. 2 LTF. Il sollicite ainsi du juge instructeur du Tribunal fédéral qu'il: " i) ordonne au TAS et à l'UCI de fournir les renseignement suivants: 1) nombre d'affaires TAS, actuelles ou passées, dans lesquelles l'UCI a nommé comme arbitre Me Carrard, en précisant le numéro de cause; 2) nombre d'affaires dans lesquelles Me Carrad a agi comme arbitre unique ou Président d'une Formation arbitrale TAS impliquant l'UCI, en précisant le numéro de cause; 3) nombre de sentences rendues au sujet de l'art. 326 RAD, en spécifiant le numéro de cause et en précisant celles dans lesquelles Me Carrard faisait partie de la Formation arbitrale; ii) ordonne au TAS et à l'UCI de fournir tout document pertinent permettant de vérifier les renseignements donnés sous i); iii) accorde au recourant un délai approprié pour compléter sa motivation après réception des renseignements et documents visés sous i) et ii). " Dans sa réponse du 31 mai 2012, l'UCI (ci-après: l'intimée) demande que les requêtes procédurales soient écartées. Sur le fond, elle conclut au rejet du recours dans la mesure où il est recevable. Le TAS, qui a produit son dossier ainsi qu'une "attestation" de Me Olivier Carrard datée du 29 mai 2012, conclut au rejet du recours dans sa réponse déposée le 31 mai 2012. Z._ n'a pas répondu dans le délai qui lui avait été imparti à cette fin. Les parties et le TAS ont maintenu leurs conclusions à l'occasion d'un second échange d'écritures (réplique du recourant du 19 juin 2012, dupliques de l'UCI et du TAS du 5 juillet 2012). 