Faits: Faits: A. X._ a travaillé comme juriste auprès de la Commission fédérale de recours en matière d'asile, à Zollikofen, jusqu'au mois de décembre 2001. Son épouse a travaillé à Genève jusqu'au 20 juin 1999, puis à Ecublens, dans le canton de Vaud, du 1er juillet 1999 au 30 avril 2000. Depuis 1998, l'Administration fiscale cantonale a déduit les frais de déplacement du contribuable conformément à l'art. 21 lettre o de la loi générale sur les contributions publiques du 9 novembre 1887 (en abrégé: LCP), soit jusqu'à concurrence du montant de l'abonnement le moins onéreux par un moyen de transport public, arrêtant ces frais à 5'376 fr. Elle a en revanche admis intégralement la déduction du loyer de la chambre à Berne, soit 4'710 fr. par an, ainsi que les frais de repas, par 5'600 fr. Le recours formé par l'intéressé contre cette taxation a été rejeté, par décision de la Commission cantonale de recours en matière d'impôts du 14 décembre 2000, entrée en force. Dans sa déclaration fiscale 1999, X._ a fait valoir, au titre de déductions liées à l'exercice de son activité : - 5'600 fr. pour frais de repas hors du domicile, - 4'710 fr. pour la location de la chambre et - 30'140 fr. pour frais de déplacement. Ce montant correspondait à trois allers-retours hebdomadaires Genève-Zollikofen, soit 6 x 170 kilomètres, 45 semaines par an (45'900 km x 60 cts ) représentant une somme de 27'540 fr., auquel il ajoutait 2'600 fr. pour se rendre en ville de Berne pour le déjeuner (2 x 10 km x 5 jours x 45 semaines x 60 cts, recte: 2'700 fr.). Dans sa déclaration fiscale 2000, X._ a fait valoir les mêmes déductions, soit 5'600 fr. pour ses frais de repas et ses frais de trajet en voiture rectifiés à 30'240 fr., le loyer pour la location de la chambre étant toutefois augmenté à 4'855 fr. A ces montants, il a ajouté une somme de 9'040 fr. pour les frais de repas (2'800 fr.) et de déplacement (6'240 fr.) de son épouse. Par bordereaux des 30 novembre 1999 et 16 novembre 2000, l'Administration fiscale cantonale a ramené à 6'724 fr. et 4'608 fr., respectivement, les déductions liées à l'activité dépendante exercée hors du canton en 1998 et 1999. Statuant sur réclamation, elle a maintenu ses taxations pour les années 1999 et 2000, par décisions du 15 mai 2001. Par bordereaux des 30 novembre 1999 et 16 novembre 2000, l'Administration fiscale cantonale a ramené à 6'724 fr. et 4'608 fr., respectivement, les déductions liées à l'activité dépendante exercée hors du canton en 1998 et 1999. Statuant sur réclamation, elle a maintenu ses taxations pour les années 1999 et 2000, par décisions du 15 mai 2001. B. Durant la procédure de recours, l'Administration fiscale a admis qu'elle aurait dû prendre en compte le loyer de la chambre à Berne et les frais de repas. En conséquence, par décision du 27 juin 2002, la Commission cantonale de recours en matière d'impôts a donné acte à l'administration qu'elle s'engageait à augmenter la déduction pour frais liés à l'activité lucrative hors du canton à 13'110 fr. (loyer de la chambre, par 4'710 fr. + frais de repas, par 5'600 fr. + frais de déplacement, par 2'800 fr.) pour l'année fiscale 1999 et à 17'891 fr. pour l'année fiscale 2000 (loyer de la chambre, par 4'855 fr. + frais de repas, par 5'600 fr. + frais de déplacement par 2'800 fr., ainsi que 2'800 fr. et 1'836 fr. pour les frais de repas et de déplacement de l'épouse pendant 6 mois). Elle a rejeté le recours du contribuable pour le surplus. B. Durant la procédure de recours, l'Administration fiscale a admis qu'elle aurait dû prendre en compte le loyer de la chambre à Berne et les frais de repas. En conséquence, par décision du 27 juin 2002, la Commission cantonale de recours en matière d'impôts a donné acte à l'administration qu'elle s'engageait à augmenter la déduction pour frais liés à l'activité lucrative hors du canton à 13'110 fr. (loyer de la chambre, par 4'710 fr. + frais de repas, par 5'600 fr. + frais de déplacement, par 2'800 fr.) pour l'année fiscale 1999 et à 17'891 fr. pour l'année fiscale 2000 (loyer de la chambre, par 4'855 fr. + frais de repas, par 5'600 fr. + frais de déplacement par 2'800 fr., ainsi que 2'800 fr. et 1'836 fr. pour les frais de repas et de déplacement de l'épouse pendant 6 mois). Elle a rejeté le recours du contribuable pour le surplus. C. X._ a recouru contre cette décision auprès du Tribunal administratif en tant qu'elle portait sur les frais de déplacement. Il se fondait essentiellement sur l'accord passé avec l'Administration fiscale, lorsqu'il avait commencé son activité à Zollikofen en 1995, laquelle avait alors admis qu'il lui était matériellement impossible de se rendre en transport public à la gare de Cornavin pour 5h.29, afin de prendre le seul train lui permettant d'arriver à 8h.30 à son travail, heure bloquée à l'administration fédérale. Par arrêt du 13 janvier 2004, le Tribunal administratif a rejeté le recours. Il a retenu en bref que l'art. 21 lettre o al. 2 LCP, applicable dès le 1er janvier 1973 pour les périodes fiscales antérieures à l'année 2001, prévoyait une déduction forfaitaire pour les frais de déplacement, même si le contribuable n'utilisait pas les transports publics pour des raisons pratiques. Admettre la déduction des frais effectifs, comme le demande le contribuable, revenait à considérer que ces frais étaient nécessaires à l'acquisition du revenu, ce qui n'était pas le cas en l'espèce. Par arrêt du 13 janvier 2004, le Tribunal administratif a rejeté le recours. Il a retenu en bref que l'art. 21 lettre o al. 2 LCP, applicable dès le 1er janvier 1973 pour les périodes fiscales antérieures à l'année 2001, prévoyait une déduction forfaitaire pour les frais de déplacement, même si le contribuable n'utilisait pas les transports publics pour des raisons pratiques. Admettre la déduction des frais effectifs, comme le demande le contribuable, revenait à considérer que ces frais étaient nécessaires à l'acquisition du revenu, ce qui n'était pas le cas en l'espèce. D. Agissant pour lui-même et au nom de son épouse, X._ forme un recours de droit public auprès du Tribunal fédéral pour violation des art. 9 et 29 Cst. et conclut à l'annulation de l'arrêt du Tribunal administratif du 13 janvier 2004. Le Tribunal administratif se réfère aux considérants et conclusions de son arrêt. De son côté, l'Administration cantonale des contributions a déposé des observations au terme desquelles elle conclut au rejet du recours, sous suite de frais. Le Tribunal administratif se réfère aux considérants et conclusions de son arrêt. De son côté, l'Administration cantonale des contributions a déposé des observations au terme desquelles elle conclut au rejet du recours, sous suite de frais. E. La demande d'effet suspensif contenue dans le recours a été admise, par ordonnance présidentielle du 15 mars 2004. 