Faits: Faits: A. X._, domicilié à Y._, a élevé réclamation à l'encontre de la décision de taxation du 28 juin 2002 du Service des contributions du canton du Jura (ci-après: le Service des contributions) pour l'impôt fédéral direct et les impôts cantonal et communal de la période fiscale 2001. Par lettre du 26 août 2002 puis par décision sur réclamation du 4 octobre 2002, ledit Service a partiellement admis la réclamation. Le revenu imposable était de 49'400 fr. pour l'impôt cantonal et communal et de 49'700 fr. pour l'impôt fédéral direct. La fortune imposable se montait à 41'000 fr. Le 14 octobre 2003, la Commission cantonale des recours du canton du Jura (ci-après: la Commission cantonale des recours) a rejeté le recours de X._. L'intéressé a, conformément aux dispositions alors en vigueur, porté cette décision devant le Tribunal cantonal du canton du Jura (ci-après: le Tribunal cantonal) pour les impôts cantonal et communal et devant le Tribunal fédéral pour l'impôt fédéral direct. Par arrêt du 3 février 2004 (2A.562/2003), après avoir consulté les parties, le Tribunal de céans a déclaré le recours irrecevable au motif que la décision attaquée de la Commission cantonale des recours ne pouvait pas être considérée comme ayant été rendue en dernière instance cantonale en matière d'impôt fédéral direct. En effet, les cantons qui prévoyaient pour les impôts cantonaux et communaux harmonisés une double instance de recours judiciaire devaient ouvrir, à partir de la période fiscale 2001, les mêmes voies de droit pour l'impôt fédéral direct (ou supprimer la seconde instance pour les impôts cantonaux et communaux). Le Tribunal fédéral a ainsi renvoyé la cause au Tribunal cantonal. Le 14 octobre 2003, la Commission cantonale des recours du canton du Jura (ci-après: la Commission cantonale des recours) a rejeté le recours de X._. L'intéressé a, conformément aux dispositions alors en vigueur, porté cette décision devant le Tribunal cantonal du canton du Jura (ci-après: le Tribunal cantonal) pour les impôts cantonal et communal et devant le Tribunal fédéral pour l'impôt fédéral direct. Par arrêt du 3 février 2004 (2A.562/2003), après avoir consulté les parties, le Tribunal de céans a déclaré le recours irrecevable au motif que la décision attaquée de la Commission cantonale des recours ne pouvait pas être considérée comme ayant été rendue en dernière instance cantonale en matière d'impôt fédéral direct. En effet, les cantons qui prévoyaient pour les impôts cantonaux et communaux harmonisés une double instance de recours judiciaire devaient ouvrir, à partir de la période fiscale 2001, les mêmes voies de droit pour l'impôt fédéral direct (ou supprimer la seconde instance pour les impôts cantonaux et communaux). Le Tribunal fédéral a ainsi renvoyé la cause au Tribunal cantonal. B. Le gouvernement du canton du Jura a modifié, le 4 mai 2004, l'ordonnance d'exécution jurassienne concernant l'impôt fédéral direct, du 19 décembre 2000 (ci-après: l'ordonnance jurassienne concernant l'impôt fédéral direct), de sorte que les décisions de la Commission cantonale de recours peuvent désormais être attaquées devant la Chambre administrative du Tribunal cantonal. Dans son arrêt du 7 février 2005, cette instance a ainsi constaté sa compétence pour statuer sur les décisions émanant de la Commission cantonale de recours en matière d'impôts cantonal et communal et d'impôt fédéral direct; elle a rejeté le recours de X._. Elle a jugé que le treizième salaire dû en 2001 mais payé au début de l'année 2002 était imposable en 2001. L'intéressé avait en effet acquis un droit ferme sur ce salaire en 2001. En outre, une facture du 19 décembre 2000 relative à des frais de perfectionnement professionnel n'était pas déductible en 2001, bien que ce fût l'année où X._ l'avait acquittée, car la date de la facture était déterminante. Celle-ci aurait donc dû être produite avec la déclaration d'impôt 2000bis et déduite lors de la révision de l'imposition de l'année 2000. Dans son arrêt du 7 février 2005, cette instance a ainsi constaté sa compétence pour statuer sur les décisions émanant de la Commission cantonale de recours en matière d'impôts cantonal et communal et d'impôt fédéral direct; elle a rejeté le recours de X._. Elle a jugé que le treizième salaire dû en 2001 mais payé au début de l'année 2002 était imposable en 2001. L'intéressé avait en effet acquis un droit ferme sur ce salaire en 2001. En outre, une facture du 19 décembre 2000 relative à des frais de perfectionnement professionnel n'était pas déductible en 2001, bien que ce fût l'année où X._ l'avait acquittée, car la date de la facture était déterminante. Celle-ci aurait donc dû être produite avec la déclaration d'impôt 2000bis et déduite lors de la révision de l'imposition de l'année 2000. C. Agissant par la voie du recours de droit administratif, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 7 février 2005 du Tribunal cantonal, de fixer pour la période fiscale 2001 le revenu imposable à 41'000 fr. pour l'impôt fédéral direct et à 40'700 fr. pour les impôts cantonaux et communaux et de condamner le canton du Jura à lui payer le montant de 563.35 fr. représentant les frais encourus dans le cadre de la première procédure devant Tribunal fédéral en raison de la "non adaptation de la législation jurassienne à l'harmonisation". Le Service des contributions, le Tribunal cantonal et l'Administration fédérale des contributions ont conclu au rejet du recours. Le Service des contributions, le Tribunal cantonal et l'Administration fédérale des contributions ont conclu au rejet du recours. D. La Juge déléguée a procédé à un complément d'instruction au sujet des frais professionnels. 