Faits: A. Né en 1943, X._ est immatriculé en Thaïlande auprès de l'Ambassade de Suisse à Bangkok depuis le 23 juillet 1990. Le 14 mai 1997, il a épousé Y._ née Z._, ressortissante thaïlandaise exerçant la profession d'institutrice. En mai 2002, il est revenu en Suisse où il a bénéficié de l'aide sociale pendant quelques mois avant de trouver un travail temporaire dans le cadre de l'Expo 02. A partir du 1er décembre 2002, il a été engagé comme collaborateur à l'Office d'impôt du district de Lausanne-ville. L'intéressé a pris une retraite anticipée à fin octobre 2006 et, compte tenu de vacances et d'heures supplémentaires, il est retourné vivre en Thaïlande auprès de son épouse dès septembre 2006. B. Le 15 janvier 2004, l'Office d'impôt du district d'Yverdon (ci-après: l'Office d'impôt) a notifié à X._ la décision de taxation définitive pour l'impôt cantonal et communal de la période fiscale 2002. Le revenu du contribuable a été fixé à 8'700 fr. et imposé au taux de 3'400 fr. X._ a déposé une réclamation contre la décision de taxation, contestant pour l'essentiel la fixation de son domicile en Suisse et le calcul de ses frais professionnels. Dans une décision préjudicielle du 23 février 2005, l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale) a considéré que l'intéressé était assujetti à l'impôt de manière illimitée dans le canton de Vaud à partir du 1er mai 2002 (détermination du domicile fiscal). Cette décision a été confirmée le 7 mars 2006 par le Tribunal administratif du canton de Vaud (ci-après: le Tribunal administratif) puis par le Tribunal fédéral le 31 août 2006 (cf. arrêt 2P.99/2006 et 2A.193/2006). Par décision du 27 mars 2006, l'Administration cantonale a rejeté la réclamation de l'intéressé en tant qu'elle concernait les déductions revendiquées. Elle a également corrigé la taxation du 15 janvier 2004, décidant de tenir compte, pour le taux d'imposition, du revenu perçu par l'épouse de l'intéressé, domiciliée en Thaïlande, pendant la période concernée. Le revenu de l'intéressé a ainsi été fixé à 10'700 fr. et imposé au taux de 4'200 fr. pour l'impôt cantonal et communal de la période 2002. Le contribuable a interjeté recours contre cette décision auprès du Tribunal administratif. C. Le 18 avril 2006, l'Office d'impôt a notifié à X._ les décisions de taxations définitives pour les périodes fiscales 2003 et 2004. Pour l'impôt cantonal et communal 2003 et 2004, son revenu a été fixé à 62'300 fr., respectivement 66'000 fr., et imposé au taux de 28'700 fr., respectivement 30'300 fr.; pour l'impôt fédéral direct 2003 et 2004, son revenu a été fixé à 54'100 fr., respectivement 57'900 fr., et imposé au taux de 57'400 fr., respectivement 61'100 fr. L'intéressé a formé réclamation contre ces décisions. Il a ensuite contesté les décisions de taxations définitives des 25 octobre et 27 novembre 2006, concernant les périodes fiscales 2005 et 2006. Son revenu a été fixé à 70'200 fr., respectivement 58'700 fr., et imposé au taux de 30'500 fr., respectivement 32'100 fr., pour l'impôt cantonal et communal 2005 et 2006; pour l'impôt fédéral direct 2005 et 2006, son revenu a été fixé à 62'700 fr., respectivement 51'500 fr., et imposé au taux de 62'700 fr., respectivement 65'800 fr. Sur proposition de l'Administration cantonale, l'intéressé a consenti à ce que les réclamations précitées soient jointes et transmises directement au Tribunal administratif comme recours, en tant que leur objet était "apparemment totalement identique" à celui du recours déjà pendant contre la décision sur réclamation du 27 mars 2006. D. Par arrêt du 26 septembre 2007, le Tribunal administratif a rejeté le recours en tant qu'il était dirigé contre les décisions de taxation des 25 octobre et 27 décembre (recte: novembre) 2006 (impôts cantonal et communal des périodes fiscales 2005 et 2006); il a modifié la décision du 15 janvier 2004 (période fiscale 2002) en ce sens que le revenu imposable pour l'impôt cantonal et communal a été fixé à 8'700 fr. et le revenu imposable pour l'impôt fédéral direct à 16'000 fr.; il a partiellement modifié les deux décisions du 18 avril 2006, en ce sens que le revenu imposable pour l'impôt cantonal et communal a été fixé à 60'700 fr. pour la période fiscale 2003 et à 64'400 fr. pour la période fiscale 2004; il a confirmé ces décisions pour le surplus. Le Tribunal administratif a considéré pour l'essentiel que les frais professionnels déductibles de l'intéressé devaient être établis par rapport à son domicile qui se trouvait dans le canton de Vaud; les frais de déplacement en Thaïlande relevaient d'une utilisation de son revenu, soit d'une dépense privée, que la loi ne permettait pas de déduire du revenu. Par ailleurs, s'agissant de la déduction des frais professionnels de l'épouse du contribuable, les forfaits fixés dans l'appendice à l'ordonnance du Département fédéral des finances du 10 février 1993 sur la déduction des frais professionnels des personnes exerçant une activité lucrative dépendante en matière d'impôt fédéral direct (ci-après: l'ordonnance sur les frais professionnels; RS 642.118.1) étaient inapplicables car ils conduisaient à un résultat erroné et choquant. L'application par analogie du régime des déductions opérées sur les gains accessoires au revenu net de l'épouse paraissait en revanche correspondre à la réalité. E. Le recourant a porté sa cause devant le Tribunal fédéral par deux mémoires identiques, intitulés "recours de droit administratif" et "recours de droit public". Il demande de "suspendre l'arrêt du Tribunal administratif du 26 septembre 2007 jusqu'à droit connu de la décision de la Cour européenne des droits de l'homme". Il se plaint d'une constatation arbitraire des faits et d'une mauvaise application du droit. Il requiert en outre l'assistance judiciaire. Le Tribunal administratif se réfère au dispositif et aux considérants de son arrêt et conclut au rejet des recours, dans la mesure où ils sont recevables. L'Administration fédérale des contributions se rallie aux considérants de l'arrêt attaqué et propose le rejet du recours, sous suite de frais. 