Faits: A. A.a Le 1er septembre 1991, D._ a été engagé à mi-temps comme assistant-bibliothécaire par l'Ecole X._. A partir de 2001, son taux d'activité était de 75 %. A.b Dans une lettre du 11 juin 2007 adressée à son employeur, D._ a déclaré résilier ses rapports de travail avec effet au 31 décembre 2007. Le même jour, il a fourni un certificat d'incapacité de travail totale à compter du 8 juin 2007. Cette incapacité de travail perdurera pendant trois ans. A.c Le 6 novembre 2007, D._ a transmis à X._ un certificat établi par le docteur W._, son médecin traitant, dans lequel celui-ci exposait que son patient avait présenté sa démission alors qu'il était incapable de discernement pour cause de maladie et demandait à X._ de ne pas en tenir compte. L'employeur a exprimé son étonnement devant cette information et requis des précisions du docteur W._. Le 9 janvier 2008, le médecin traitant a indiqué que lors d'une consultation du 8 juin 2007, il avait découragé D._ de démissionner en raison de sa maladie car celle-ci justifiait pleinement un arrêt de travail à 100 %. Il a ajouté que les traitements prescrits n'avaient pas encore permis de rétablir la capacité de travail, mais que le discernement du patient était meilleur. Il suggérait que lui-même et le docteur H._, psychiatre, auprès duquel le patient suivait une thérapie, prennent contact avec le médecin de la Confédération. S'en sont suivis plusieurs échanges de correspondances entre le mandataire de D._ et X._. Parallèlement, des contacts ont été pris entre les médecins traitants du prénommé et le Service médical de la Confédération portant notamment sur l'opportunité d'ordonner une expertise. A.d Le 18 juin 2008, X._ a rendu une décision formelle par laquelle elle a constaté que la démission donnée par D._ le 11 juin 2007 était valable. En bref, elle a considéré que la capacité de discernement du prénommé ne pouvait être mise en doute et que l'administration d'une expertise était superflue au vu des éléments dont elle disposait. A.e D._ a recouru contre cette décision devant la Commission de recours interne des Ecoles Z._. A.f Par décision incidente du 28 octobre 2008, Z._ a décidé, à titre provisionnel, que D._ devait être maintenu à son poste de travail et continuer à percevoir son salaire depuis le 1er janvier 2008 jusqu'à l'entrée en force de sa décision au fond. A.g Statuant sur le fond le 18 décembre 2008, Z._ a admis le recours de D._, annulé la décision de X._ du 18 juin 2008 et renvoyé la cause à l'employeur, en invitant celui-ci à compléter l'instruction par une expertise auprès du médecin expert du Service médical de la Confédération. Z._ a également retiré l'effet suspensif à un éventuel recours et décidé que sa décision sur mesures provisionnelles du 28 octobre 2008 serait prolongée jusqu'à l'entrée en force de la nouvelle décision de X._. En substance, Z._ a considéré que les éléments à disposition de l'employeur pour trancher la question de la validité de la résiliation du 11 juin 2007 étaient insuffisants, et constaté une violation du droit d'être entendu de D._ dans la mesure où X._ avait renoncé à la mise en oeuvre d'une expertise sans l'entendre au préalable. B. B.a Saisi le 18 novembre 2008 d'un recours de X._ contre la décision incidente de Z._, le Tribunal administratif fédéral (ci-après : le TAF) a rayé la cause du rôle dès lors que Z._ avait, entre-temps, rendu sa décision sur le fond. B.b Le 16 janvier 2009, X._ a recouru devant le TAF contre la décision sur le fond de Z._. B.c Par décision incidente du 20 février 2009, le TAF a restitué l'effet suspensif au recours. B.d Par ordonnance du 7 mai 2009, le TAF a informé les parties qu'il décidait d'ordonner lui-même une expertise afin de déterminer la capacité de discernement de D._ au moment de sa résiliation des rapports de travail, et qu'il confiait cette mission au docteur C._, psychiatre. B.e L'expert judiciaire a rendu son rapport le 16 décembre 2009. Il a retenu que D._ avait présenté, durant la période du 6 au 13 juin 2007, des troubles de l'adaptation, un épisode dépressif majeur d'intensité moyenne à sévère, et des épisodes d'angoisse diffuse d'intensité moyenne à sévère [CIM-10: F43; F32.1-F32.2; F41.1]. Il a estimé, en résumé, que ces troubles n'avaient pas privé l'intéressé de la faculté d'apprécier la signification, l'opportunité et la portée de sa décision de démissionner de son poste de travail en date du 11 juin 2007, ni d'agir librement en fonction de cette compréhension. B.f Par arrêt du 19 juillet 2010, le TAF a partiellement admis le recours de X._ au sens des considérants. Il a annulé la décision du 18 décembre 2008 de Z._ et constaté que les rapports de travail entre D._ et X._ avaient pris fin au 31 décembre 2007. Le tribunal a en outre mis les frais d'expertise, d'un montant de 5'800 fr., à la charge de X._. C. D._ interjette un recours en matière de droit public. Sous suite de frais et dépens, il conclut à la réforme du jugement du TAF en ce sens que le recours formé par X._ contre la décision rendue le 18 décembre 2008 par Z._ est rejeté. X._ conclut au rejet du recours. 