Faits: Faits: A. Engagé dès le mois d'avril 1984 sous contrat de droit privé, puis comme employé non permanent dès le mois d'août 1987, X._, né le 26 mars 1940, a occupé différents postes au sein de l'Ecole polytechnique fédérale de Lausanne (ci-après: l'EPFL). A partir du 1er mai 1990, il a été mis au bénéfice d'un contrat d'employé permanent en qualité d'adjoint scientifique au Laboratoire de mécanique appliquée (en abrégé: LMA), intégré à l'Institut de mécanique applicable et de construction des machines (en abrégé: IMECO), où il travaillait déjà depuis le 17 novembre 1986, sous la direction du Professeur Y._. Il a été ensuite responsable du "groupe qualité et sécurité des systèmes mécaniques", dénommé "groupe thermomécanique et fiabilité". A. Engagé dès le mois d'avril 1984 sous contrat de droit privé, puis comme employé non permanent dès le mois d'août 1987, X._, né le 26 mars 1940, a occupé différents postes au sein de l'Ecole polytechnique fédérale de Lausanne (ci-après: l'EPFL). A partir du 1er mai 1990, il a été mis au bénéfice d'un contrat d'employé permanent en qualité d'adjoint scientifique au Laboratoire de mécanique appliquée (en abrégé: LMA), intégré à l'Institut de mécanique applicable et de construction des machines (en abrégé: IMECO), où il travaillait déjà depuis le 17 novembre 1986, sous la direction du Professeur Y._. Il a été ensuite responsable du "groupe qualité et sécurité des systèmes mécaniques", dénommé "groupe thermomécanique et fiabilité". B. Lors d'une réunion du 17 mars 1994, le personnel de l'IMECO a été informé des modifications prévisibles dans l'organisation de l'institut, qui rendraient inévitables des transferts et l'encouragement de recherches d'emploi ou de mises à la retraites anticipée dès 60 ans. Par lettre du 22 mars 1994 adressée à tous les participants à cette réunion, dont X._, le Professeur Z._, Président de l'EPFL, a réitéré son "engagement à mettre tout en oeuvre pour que les mesures qu'impliqueront la réduction inévitable de la dotation de base de l'IMECO puissent se réaliser sans trop de difficulté pour les personnes jouissant du statut d'employé permanent voire même de fonctionnaire". Dans son courrier du 27 février 1995, le Président a informé le personnel de l'IMECO que ce dernier comprendrait quatre nouveaux professeurs et a confirmé la nécessité de supprimer des postes ou d'opérer des transferts pour certaines personnes qui seraient contactées directement par le Service du personnel. Selon le procès-verbal d'une réunion du 14 juin 1995, produit caviardé par l'EPFL, le Professeur Y._, qui devait prendre sa retraite en 1996, aurait informé X._ que "le LMA pourrait abandonner le domaine Fiabilité et défaillance, auquel cas un arrêt de fonction pourrait se justifier. Une telle opération ne pourrait toutefois se prendre qu'avec l'aval de M..." Par courrier du 11 juin 1996 adressé à X._, le Président Z._ se référait notamment à une information que l'intéressé aurait reçue du Chef du Département, le Professeur A._, soit la possibilité de le maintenir à un poste de travail au sein de l'IMECO, sous les ordres et directives du nouveau directeur, le Professeur B._, à la condition qu'il s'engage par écrit à prendre sa retraite anticipée à l'âge de 62 ans. Il le priait d'envoyer sa détermination d'ici au 20 juin 1996, à défaut de quoi il se verrait dans l'obligation de mettre un terme à ses rapports de service dans les délais légaux. Le 24 juillet 1996, après avoir demandé une prolongation du délai imparti, X._ a déclaré qu'il acceptait les conditions posées dans la lettre du 11 juin 1996. Par courrier du 24 septembre 1996, le Président Z._ a donc informé l'intéressé qu'il était transféré au LMA à partir du 1er novembre 1996, jusqu'au 31 mars 2002, date à laquelle il s'était déclaré prêt à prendre sa retraite anticipée. Par courrier du 11 juin 1996 adressé à X._, le Président Z._ se référait notamment à une information que l'intéressé aurait reçue du Chef du Département, le Professeur A._, soit la possibilité de le maintenir à un poste de travail au sein de l'IMECO, sous les ordres et directives du nouveau directeur, le Professeur B._, à la condition qu'il s'engage par écrit à prendre sa retraite anticipée à l'âge de 62 ans. Il le priait d'envoyer sa détermination d'ici au 20 juin 1996, à défaut de quoi il se verrait dans l'obligation de mettre un terme à ses rapports de service dans les délais légaux. Le 24 juillet 1996, après avoir demandé une prolongation du délai imparti, X._ a déclaré qu'il acceptait les conditions posées dans la lettre du 11 juin 1996. Par courrier du 24 septembre 1996, le Président Z._ a donc informé l'intéressé qu'il était transféré au LMA à partir du 1er novembre 1996, jusqu'au 31 mars 2002, date à laquelle il s'était déclaré prêt à prendre sa retraite anticipée. C. En raison de l'entrée en vigueur de la loi fédérale sur le personnel de la Confédération au 1er janvier 2002, X._ a reçu un nouveau contrat de durée indéterminée, qu'il a signé le 15 novembre 2001. Par lettre du 6 décembre 2001 adressée au Doyen de l'EPFL, X._ a expliqué qu'il avait accepté la proposition du Président Z._ sous contrainte et a demandé que son emploi soit sauvegardé à partir d'avril 2002. Copie de cette lettre était adressée au Service du personnel qui, le 12 décembre 2001, lui a confirmé sa cessation d'activité pour le 31 mars 2002. Dans sa réponse du 27 février 2002, X._ a réitéré sa demande de pouvoir poursuivre son activité au-delà du 31 mars 2002, pour le motif qu'il avait été victime de pressions et n'aurait jamais contracté une retraite anticipée de sa libre volonté. Aucune suite n'ayant été donnée à sa requête, X._ a recouru auprès du Conseil des Ecoles polytechniques fédérales (ci-après: Conseil des EPF) le 27 mars 2002. Il a conclu à la nullité de la lettre du 11 juin 1996 et à l'échange de correspondances qui s'ensuivit, ainsi qu'à sa réintégration dès le 1er avril 2002 jusqu'à l'âge de 65 ans révolus. A titre subsidiaire, il a conclu au paiement d'une indemnité de départ de deux ans de salaire et au maintien de son affiliation dans la Caisse fédérale de pensions en qualité d'assuré actif. Par lettre du 6 décembre 2001 adressée au Doyen de l'EPFL, X._ a expliqué qu'il avait accepté la proposition du Président Z._ sous contrainte et a demandé que son emploi soit sauvegardé à partir d'avril 2002. Copie de cette lettre était adressée au Service du personnel qui, le 12 décembre 2001, lui a confirmé sa cessation d'activité pour le 31 mars 2002. Dans sa réponse du 27 février 2002, X._ a réitéré sa demande de pouvoir poursuivre son activité au-delà du 31 mars 2002, pour le motif qu'il avait été victime de pressions et n'aurait jamais contracté une retraite anticipée de sa libre volonté. Aucune suite n'ayant été donnée à sa requête, X._ a recouru auprès du Conseil des Ecoles polytechniques fédérales (ci-après: Conseil des EPF) le 27 mars 2002. Il a conclu à la nullité de la lettre du 11 juin 1996 et à l'échange de correspondances qui s'ensuivit, ainsi qu'à sa réintégration dès le 1er avril 2002 jusqu'à l'âge de 65 ans révolus. A titre subsidiaire, il a conclu au paiement d'une indemnité de départ de deux ans de salaire et au maintien de son affiliation dans la Caisse fédérale de pensions en qualité d'assuré actif. D. Statuant le 23 janvier 2003, le Conseil des EPF a rejeté le recours dans la mesure où il était recevable et a constaté que le salaire devait être versé à X._ jusqu'à la date de son jugement. Il a en revanche retiré l'effet suspensif à un éventuel recours contre sa décision. Examinant préalablement la nature de l'acte du 11 juin 1996, le Conseil a estimé qu'il ne s'agissait pas d'une décision formelle, mais que l'intéressé avait eu la possibilité de recourir et de répliquer aux allégations de l'intimée, de sorte qu'il ne subissait aucun préjudice. Compte tenu de l'issue du recours, il a toutefois laissé ouverte la question de sa recevabilité, faute de décision attaquable. Sur le fond, il a considéré que la fonction de X._ avait été supprimée pour cause de départ à la retraite du Professeur Y._, auquel il était subordonné. En application de l'ordonnance sur les mesures à prendre en faveur du personnel en cas de restructurations dans l'administration générale de la Confédération du 18 octobre 1995 (ci-après l'ordonnance de 1995; RO 1995 p. 5111 ss), l'EPFL lui a proposé de maintenir ses rapports de service, sous réserve de sa mutation au LMA dès le 1er novembre 1996 et sa mise à la retraite anticipée, conditions qu'il a acceptées. En outre, l'intention de l'EPFL de mettre fin aux rapports de service en cas de désaccord, ne saurait être considérée comme un élément d'une menace établissant le cas de crainte fondée au sens des art. 29 et 30 CO. Quant à l'indemnité de départ au sens de l'art. 19 de l'ordonnance de 1995, elle n'était due qu'en cas de résiliation des rapports de service. D. Statuant le 23 janvier 2003, le Conseil des EPF a rejeté le recours dans la mesure où il était recevable et a constaté que le salaire devait être versé à X._ jusqu'à la date de son jugement. Il a en revanche retiré l'effet suspensif à un éventuel recours contre sa décision. Examinant préalablement la nature de l'acte du 11 juin 1996, le Conseil a estimé qu'il ne s'agissait pas d'une décision formelle, mais que l'intéressé avait eu la possibilité de recourir et de répliquer aux allégations de l'intimée, de sorte qu'il ne subissait aucun préjudice. Compte tenu de l'issue du recours, il a toutefois laissé ouverte la question de sa recevabilité, faute de décision attaquable. Sur le fond, il a considéré que la fonction de X._ avait été supprimée pour cause de départ à la retraite du Professeur Y._, auquel il était subordonné. En application de l'ordonnance sur les mesures à prendre en faveur du personnel en cas de restructurations dans l'administration générale de la Confédération du 18 octobre 1995 (ci-après l'ordonnance de 1995; RO 1995 p. 5111 ss), l'EPFL lui a proposé de maintenir ses rapports de service, sous réserve de sa mutation au LMA dès le 1er novembre 1996 et sa mise à la retraite anticipée, conditions qu'il a acceptées. En outre, l'intention de l'EPFL de mettre fin aux rapports de service en cas de désaccord, ne saurait être considérée comme un élément d'une menace établissant le cas de crainte fondée au sens des art. 29 et 30 CO. Quant à l'indemnité de départ au sens de l'art. 19 de l'ordonnance de 1995, elle n'était due qu'en cas de résiliation des rapports de service. E. X._ a recouru contre cette décision auprès de la Commission fédérale de recours en matière de personnel fédéral (ci-après: la Commission fédérale de recours ou la Commission intimée), en prenant les mêmes conclusions que dans son premier recours. Le 21 mars 2003, il a également sollicité la restitution de l'effet suspensif. Le 11 juin 2003, le Président de la Commission a toutefois renoncé à statuer sur cette requête, par économie de procédure. Une audience d'instruction s'est tenue le 16 juin 2003 au cours de laquelle plusieurs témoins ont été entendus. Par décision du 16 juillet 2003, La Commission fédérale de recours a rejeté le recours et confirmé la décision du Conseil des EPF du 23 janvier 2003. Considérant la lettre du 11 juin 1996 comme une décision, elle a jugé que l'ancien droit sur le statut du personnel de l'administration fédérale était applicable et a laissé ouverte la question de savoir si le recours déposé le 27 mars 2002 devant le Conseil des EPF avait été formé en temps utile. Au fond, elle a retenu que, contrairement à ses affirmations, X._ était concerné par le processus de restructuration de l'IMECO mis en place dès 1994. Elle a ensuite constaté que ce dernier n'avait jamais sollicité un appui pour la recherche d'un poste hors ou au sein de la Confédération entre mars 1994 et juin 1996 et que la mise à la retraite anticipée proposée a permis d'éviter la fin des rapports de service. La Commission a aussi jugé sans pertinence la question du vice du consentement, dès lors que la validité de la décision du 11 juin 1996 dépendait uniquement de sa conformité à la loi et aux principes généraux du droit administratif. En outre, le recourant n'avait pas été victime d'une crainte fondée en acceptant sa mise à la retraite anticipée, de sorte qu'il était de mauvaise foi, en se prévalant d'un vice du consentement lors de la signature du nouveau contrat du 15 novembre 2001. Enfin, les conditions pour le versement d'une indemnité de départ selon l'art. 19 de l'ordonnance de 1995 n'étaient pas réunies. Par décision du 16 juillet 2003, La Commission fédérale de recours a rejeté le recours et confirmé la décision du Conseil des EPF du 23 janvier 2003. Considérant la lettre du 11 juin 1996 comme une décision, elle a jugé que l'ancien droit sur le statut du personnel de l'administration fédérale était applicable et a laissé ouverte la question de savoir si le recours déposé le 27 mars 2002 devant le Conseil des EPF avait été formé en temps utile. Au fond, elle a retenu que, contrairement à ses affirmations, X._ était concerné par le processus de restructuration de l'IMECO mis en place dès 1994. Elle a ensuite constaté que ce dernier n'avait jamais sollicité un appui pour la recherche d'un poste hors ou au sein de la Confédération entre mars 1994 et juin 1996 et que la mise à la retraite anticipée proposée a permis d'éviter la fin des rapports de service. La Commission a aussi jugé sans pertinence la question du vice du consentement, dès lors que la validité de la décision du 11 juin 1996 dépendait uniquement de sa conformité à la loi et aux principes généraux du droit administratif. En outre, le recourant n'avait pas été victime d'une crainte fondée en acceptant sa mise à la retraite anticipée, de sorte qu'il était de mauvaise foi, en se prévalant d'un vice du consentement lors de la signature du nouveau contrat du 15 novembre 2001. Enfin, les conditions pour le versement d'une indemnité de départ selon l'art. 19 de l'ordonnance de 1995 n'étaient pas réunies. F. Le 15 septembre 2003, X._ a formé un recours de droit administratif contre la décision de la Commission fédérale de recours du 16 juillet 2003, en concluant à son annulation, sous suite de frais et dépens. Le lendemain, il a déposé un nouveau mémoire corrigé, mais il a été informé que cet acte était tardif et ne pouvait être pris en considération. Le recourant se plaint essentiellement de constatations inexactes de faits pertinents et reprend ses arguments et conclusions présentés devant la juridiction de recours. La Commission fédérale de recours et le Conseil des EPF ont renoncé à déposer des observations sur le recours et se réfèrent à leur décision respective. L'EPFL "conclut au rejet du recours, principalement en raison de son irrecevabilité, subsidiairement quant au fond, dans l'éventualité où il serait recevable." L'EPFL "conclut au rejet du recours, principalement en raison de son irrecevabilité, subsidiairement quant au fond, dans l'éventualité où il serait recevable." G. Par lettre du 14 avril 2004, X._ a déclaré vouloir informer le Tribunal fédéral "sur l'état actuel" de ses liens et de ses activités à l'EPFL et lui "soumettre la question de la libération de son bureau à l'EPFL". Il produit, à cette fin, plusieurs pièces. 