Faits: Faits: A. A.A._, né le 6 février 1960, ayant épousé B.A._ le 9 février 1999, a indiqué dans sa déclaration d'impôt concernant la période fiscale 1999-2000 (période de calcul 1997-1998) avoir commencé une activité d'indépendant le 1er août 1998. Dans sa déclaration concernant la période fiscale 2001-2002 (période de calcul 1999-2000), il a mentionné avoir séjourné en Thaïlande en 1998 et 1999. Durant cette période, il a touché des indemnités de chômage ainsi que l'aide sociale. Par lettre du 3 avril 2002, l'Administration cantonale vaudoise des impôts (ci-après: l'Administration des impôts) a demandé aux Caisses cantonales vaudoises de chômage et de compensation AVS de mettre à sa disposition l'intégralité de leur dossier. Il est ressorti en particulier du dossier produit par la Caisse AVS que A.A._ avait cessé son activité d'indépendant dès le mois de septembre 1998 et qu'il avait touché différents salaires durant les années 1998-1999. L'Office d'impôt du district de Vevey, par lettre du 16 août 2002, puis par sommation du 4 octobre 2002, a invité le contribuable à lui fournir un descriptif de son activité professionnelle du 1er janvier 1995 au 31 décembre 2000, mais en vain. Par lettre du 3 avril 2002, l'Administration cantonale vaudoise des impôts (ci-après: l'Administration des impôts) a demandé aux Caisses cantonales vaudoises de chômage et de compensation AVS de mettre à sa disposition l'intégralité de leur dossier. Il est ressorti en particulier du dossier produit par la Caisse AVS que A.A._ avait cessé son activité d'indépendant dès le mois de septembre 1998 et qu'il avait touché différents salaires durant les années 1998-1999. L'Office d'impôt du district de Vevey, par lettre du 16 août 2002, puis par sommation du 4 octobre 2002, a invité le contribuable à lui fournir un descriptif de son activité professionnelle du 1er janvier 1995 au 31 décembre 2000, mais en vain. B. Par avis du 12 novembre 2002, l'Administration des impôts a ouvert une procédure pénale pour soustraction d'impôt à l'encontre des époux A._ qui ont eu la possibilité de se faire entendre. Par lettre du 25 août 2003, A.A._ a fait savoir que tous ses revenus étaient facilement vérifiables, que les erreurs commises dans ses déclarations d'impôt étaient indépendantes de sa volonté, qu'elles ne constituaient pas une soustraction d'impôt volontaire et que les déductions opérées étaient beaucoup trop faibles par rapport à la réalité. Le 26 avril 2004, l'Administration des impôts a rendu une décision de taxation définitive, retenant les montants suivants: a) en matière d'impôt cantonal et communal Période fiscale 1997-1998, du 1er août 1998 au 31 décembre 1998: Revenu imposable: 16'100 fr., au taux de 16'100 (au lieu de zéro fr. déclaré); Fortune imposable: zéro (sans changement). Période fiscale 1999-2000 (période de calcul 1997-1998): Revenu imposable: 41'400 fr., au taux de 41'400 (au lieu de zéro fr. déclaré); Fortune imposable: zéro (sans changement). Période fiscale 2001-2002 (période de calcul 1999-2000): Revenu imposable: 45'700 fr., au taux de 25'300 (au lieu de zéro fr. déclaré); Fortune imposable: zéro (sans changement). b) en matière d'impôt fédéral direct Période fiscale 1997-1998, du 1er août 1998 au 31 décembre 1998: Revenu imposable: zéro fr., au taux de zéro (sans changement). Période fiscale 1999-2000 (période de calcul 1997-1998): Revenu imposable: 41'900 fr., au taux de 41'900 (au lieu de zéro fr. déclaré). Période fiscale 2001-2002 (période de calcul 1999-2000): Revenu imposable: 34'800 fr., au taux de 34'800 (au lieu de zéro fr. déclaré). L'Administration des impôts a fixé les compléments d'impôt correspondant à la difference entre les éléments imposables et les éléments déclarés à 25'912 fr. 60 en matière d'impôt cantonal et communal et à 1'056 fr. 70 en matière d'impôt fédéral direct. Par ailleurs, A.A._ (à l'exclusion de son épouse) s'est vu infliger des peines d'amendes de 15'950 fr. (amendes cantonales et communales) et de 670 fr. (amendes pour l'impôt fédéral direct). L'Administration des impôts, par décision du 13 septembre 2004, rendue sur réclamation, a maintenu sa décision. L'Administration des impôts, par décision du 13 septembre 2004, rendue sur réclamation, a maintenu sa décision. C. Statuant le 17 mai 2005, le Tribunal administratif du canton de Vaud a rejeté le recours déposé par l'intéressé. Le Tribunal administratif a estimé que le recourant avait été entendu. Qu'aucun défaut de "collaboration" ne pouvait être reproché à l'Administration des impôts qui avait examiné les faits de la cause et suivi la procédure applicable, notamment en rendant la décision sur réclamation; elle n'avait pas violé les dispositions légales ayant trait à l'examen de la réclamation, ni enfreint les dispositions légales concernant la clôture de l'enquête pour soustraction d'impôt. Les reprises opérées et les amendes infligées - confirmées sur réclamation - paraissaient justifiées. Le Tribunal administratif a estimé que le recourant avait été entendu. Qu'aucun défaut de "collaboration" ne pouvait être reproché à l'Administration des impôts qui avait examiné les faits de la cause et suivi la procédure applicable, notamment en rendant la décision sur réclamation; elle n'avait pas violé les dispositions légales ayant trait à l'examen de la réclamation, ni enfreint les dispositions légales concernant la clôture de l'enquête pour soustraction d'impôt. Les reprises opérées et les amendes infligées - confirmées sur réclamation - paraissaient justifiées. D. Sans préciser s'il entend agir par la voie du recours de droit administratif ou celle du recours de droit public, A.A._ demande au Tribunal fédéral d'annuler l'arrêt du 17 mai 2005 du Tribunal administratif ainsi que les reprises d'impôt effectuées. Il fait valoir que son épouse n'était pas contribuable avant son mariage, date à laquelle elle est arrivée de l'étranger. L'Administration des impôts puis le Tribunal administratif auraient omis cet élément. Le Tribunal administratif conclut à l'irrecevabilité du recours, subsidiairement à son rejet. L'Administration des impôts et l'Administration fédérale des contributions concluent au rejet du recours. 