Faits: A. Le 13 janvier 1999, la Commission d'impôt de Lavaux, actuellement l'Office d'impôt du district de X._, (ci-après: l'Office de l'impôt) a notifié à A._ deux décisions de taxation définitive concernant l'impôt cantonal et communal sur le revenu et la fortune pour la période 1997/1998. L'Office de l'impôt a précisé que les frais de déplacement admis à l'impôt fédéral direct étaient identiques à ceux définis par la loi vaudoise du 26 novembre 1956 sur les impôts directs cantonaux. Les 14 janvier et 8 février 1999, les notifications définitives valables pour l'impôt fédéral direct de la période 1997/1998 ont été envoyées à A._. Le 25 janvier 1999, A._ a informé l'Office de l'impôt qu'il recourait contre les décisions de taxation en matière d'impôt fédéral direct. Il s'est plaint que, pour le calcul de l'impôt fédéral direct, l'autorité a appliqué le barème cantonal pour le calcul des frais de transport déductibles, en violation de l'art. 4 aCst. Le 27 janvier 1999, l'Office de l'impôt a motivé et confirmé sa position. Il a proposé à A._ de fournir la justification des frais de transport effectifs et d'indiquer s'il retirait ou maintenait sa réclamation. L'intéressé ayant déclaré maintenir sa réclamation, l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale) l'a rejetée le 1er mars 2001. A._ a attaqué cette décision devant le Tribunal administratif du canton de Vaud (ci-après: le Tribunal administratif) qui, par arrêt du 19 décembre 2005, a rejeté le recours et confirmé la décision de l'Administration cantonale. A._ a attaqué cette décision devant le Tribunal administratif du canton de Vaud (ci-après: le Tribunal administratif) qui, par arrêt du 19 décembre 2005, a rejeté le recours et confirmé la décision de l'Administration cantonale. B. Par recours de droit administratif au Tribunal fédéral, A._ a entrepris l'arrêt du Tribunal administratif du 19 décembre 2005. Il conclut implicitement à l'annulation de l'arrêt attaqué, sous suite des frais et dépens. Le recourant reproche à l'autorité intimée de reprendre, pour le calcul de l'impôt fédéral direct, les déductions forfaitaires kilométriques prévues par le droit cantonal et ainsi de violer le principe de l'égalité de traitement. En effet, les contribuables des différents cantons ne sont pas traités de la même manière par rapport à un même impôt: certains cantons ne connaissent aucune limitation des déductions permises pour l'utilisation d'un véhicule privé pour se rendre au lieu de travail, tandis que d'autres utilisent un système dégressif. Le Tribunal administratif ainsi que l'Administration cantonale concluent au rejet du recours. L'Administration fédérale des contributions conclut également au rejet du recours, sous suite de frais. L'Administration fédérale des contributions conclut également au rejet du recours, sous suite de frais. C. Le 11 mai 2006, sans y avoir été invité, A._ a fait parvenir au Tribunal fédéral un courrier dans lequel il répond aux observations de l'Administration cantonale. 