Faits: Faits: A. Né en 1966, célibataire et sans enfants, A._ est arrivé dans le canton de Vaud, venant de Saint-Gall, à l'automne 1993. Il y a été domicilié dans différentes communes jusqu'au 15 juillet 2003. Cambiste, spécialiste en matière de risques de change, il a travaillé dans divers établissements bancaires du 1er octobre 1993 au 31 juillet 2003. Pour les périodes fiscales 1993-1994 à 2001-2002, A._ a déclaré les montants ci-après: - pour la période fiscale du 1er octobre 1993 au 31 décembre 1994, il a déclaré un revenu imposable de 78'300 fr. et une fortune imposable de 164'000 fr. L'état des titres montrait un revenu brut de 5'000 fr. et une fortune de 129'770 fr. L'Administration cantonale des impôts du canton de Vaud (ci-après: L'Administration cantonale des impôts) a fixé le revenu et la fortune imposables à 78'300 fr. et 164'000 fr. - pour la période fiscale 1995-1996, il a déclaré un revenu imposable de 88'503 fr. et une fortune imposable de 182'078 fr. L'état des titres montrait un revenu brut de 3'950 fr. et une fortune de 137'078 fr. L'Administration cantonale des impôts a fixé le revenu et la fortune imposables à 94'800 fr. et 182'000 fr. - pour la période fiscale 1997-1998, il a déclaré un revenu imposable de 87'400 fr. et une fortune imposable de 212'737 fr. L'état des titres montrait un revenu brut de 5'480 fr. et une fortune de 314'737 fr. L'Administration cantonale des impôts a fixé le revenu et la fortune imposables à 87'400 fr. et 237'000 fr. - pour la période fiscale 1999-2000, il a déclaré un revenu imposable de 107'500 fr. et une fortune imposable de 161'000 fr. L'état des titres montrait un revenu brut de 1'524 fr. et une fortune de 77'277 fr. L'Administration cantonale des impôts a fixé le revenu et la fortune imposables à 113'000 fr. et 161'000 fr. - pour la période fiscale 2001-2002, il a déclaré un revenu imposable de 158'200 fr. et une fortune imposable de 557'000 fr. L'état des titres montrait un revenu brut de 197 fr. et une fortune de 459'081 fr. L'Administration cantonale des impôts a fixé le revenu et la fortune imposables à 167'200 fr. et 557'000 fr. - pour la période fiscale 2001-2002, il a déclaré un revenu imposable de 158'200 fr. et une fortune imposable de 557'000 fr. L'état des titres montrait un revenu brut de 197 fr. et une fortune de 459'081 fr. L'Administration cantonale des impôts a fixé le revenu et la fortune imposables à 167'200 fr. et 557'000 fr. B. Le 14 décembre 1999, l'Administration cantonale des impôts a notifié à A._ un avis d'ouverture d'enquête pour soustraction fiscale relativement aux périodes fiscales 1997-1998 et celles des années antérieures. Le 17 juin 2002, ladite Administration a précisé que cette procédure était étendue aux périodes fiscales 1999-2000 et 2001-2002. A._ a été entendu à diverses reprises, à savoir le 16 mars 2000, le 1er juin 2001 et le 2 septembre 2002. Au cours de ces entretiens, il a admis n'avoir pas déclaré: - le compte no xxx ouvert en son nom auprès de la société de gestion financière B._ SA, - le compte no xxx ouvert en son nom auprès de la société C._ SA, - le compte no xxx ouvert en son nom auprès de la société D._ SA, - le compte xxx auprès de la banque E._. Il a en outre reconnu être l'un des ayants droit économiques de la société panaméenne F._ Co. Cette société détient le compte xxx à la banque G._. A._ a reconnu qu'un compte no xxx avait été ouvert en 1996 auprès de la banque H._ au nom de D._ SA, compte sur lequel il a fait verser des sommes totalisant 300'000 fr. Il a été l'un des fondateurs de cette société. D._ SA était active dans la gestion de patrimoines et son siège était à L._. A._ en a été le président du conseil d'administration. Il a déclaré que le compte xxx appartenait à son beau-frère, I._, ancien directeur de la la banque G._ et qui a été un temps administrateur de D._ SA et de B._ SA. Enfin, A._ a annoncé détenir 25 actions de la société J._ AG, non reportées dans son état des titres au 1er janvier 1999 ainsi que des liquidités non déclarées de l'ordre de 30'000 fr. à 40'000 fr. A diverses reprises, l'Administration cantonale des impôts a adressé à A._ des demandes de pièces. En dépit de plusieurs rappels et sommations, celui-ci ne s'est que partiellement exécuté, et a finalement fait savoir qu'il avait transmis toutes les pièces en sa possession. Le 19 août 2002, l'Administration cantonale des impôts a notifié un avis de prochaine clôture d'enquête auquel était annexé un tableau des éléments de revenu qu'elle entendait reprendre. Selon ce tableau, les compléments envisagés dus au titre de l'impôt fédéral direct pour les périodes fiscales 1995-1996 à 2001-2002 se montaient à 175'221.20 fr. Ces reprises partaient du principe que A._ devait être considéré comme commerçant professionnel de titres. Elles portaient sur trois catégories de postes: Il s'agit en premier lieu des rendements/pertes réalisés à titre de commerçant professionnel de titres sur les comptes auprès de B._ SA, de C._ SA, de D._ SA et de F._ Co. II s'agit ensuite du dividende sur les actions J._ AG. En troisième lieu, l'Administration cantonale des impôts a jugé que les prélèvements et versements effectués sur les comptes susmentionnés et sur les comptes déclarés, dont la destination, respectivement la provenance, n'avait pu être justifiée, devaient être considérés comme ayant été réinvestis dans des opérations boursières. Relativement à ces trois postes, l'Administration cantonale des impôts a estimé les éléments de revenus non déclarés ou erronés, entre 1993 et 2000, à 1'361'324 fr. A._ s'est déterminé par une écriture du 15 novembre 2002. Le 9 janvier 2003, l'Administration cantonale des impôts a proposé aux mandataires de A._ de fixer un nouvel entretien pour discuter de la situation. Il était demandé que fût fourni au préalable tout document permettant de justifier les importantes dépenses que A._ avait engagées entre 1993 et 1998 et, par là même, l'affectation des prélèvements opérés sur les divers comptes. Il n'a été donné aucune suite à ce courrier. Le 9 janvier 2003, l'Administration cantonale des impôts a proposé aux mandataires de A._ de fixer un nouvel entretien pour discuter de la situation. Il était demandé que fût fourni au préalable tout document permettant de justifier les importantes dépenses que A._ avait engagées entre 1993 et 1998 et, par là même, l'affectation des prélèvements opérés sur les divers comptes. Il n'a été donné aucune suite à ce courrier. C. Le 15 juillet 2003, A._ a quitté son domicile dans le canton de Vaud sans laisser d'adresse. L'Administration cantonale de l'impôt fédéral direct lui a notifié, le 18 juillet 2003, une demande de sûretés, d'un montant de 350'000 fr., en garantie de l'impôt fédéral direct et des amendes pour les années 1995 à 2002. A la même date, elle lui a notifié une demande de sûretés arrêtée à 880'000 fr. en garantie des impôts cantonaux et communaux pour les mêmes années. A._ n'ayant donné aucune suite à ces demandes, l'Administration cantonale des impôts a requis l'exécution des séquestres des offices des poursuites compétents. C. Le 15 juillet 2003, A._ a quitté son domicile dans le canton de Vaud sans laisser d'adresse. L'Administration cantonale de l'impôt fédéral direct lui a notifié, le 18 juillet 2003, une demande de sûretés, d'un montant de 350'000 fr., en garantie de l'impôt fédéral direct et des amendes pour les années 1995 à 2002. A la même date, elle lui a notifié une demande de sûretés arrêtée à 880'000 fr. en garantie des impôts cantonaux et communaux pour les mêmes années. A._ n'ayant donné aucune suite à ces demandes, l'Administration cantonale des impôts a requis l'exécution des séquestres des offices des poursuites compétents. D. Le 19 août 2003, A._ a déposé un recours de droit administratif au Tribunal fédéral lui demandant principalement, sous suite de frais et dépens, d'annuler la demande de sûretés du 18 juillet 2003 concernant l'impôt fédéral direct, subsidiairement de réfor-mer cette décision en ce sens que le montant des sûretés s'élève à 10'000 fr. L'Administration cantonale de l'impôt fédéral direct conclut au rejet du recours. Au terme d'un second échange d'écritures, les parties ont persisté dans leurs conclusions. L'Administration fédérale des contributions propose le rejet du recours. L'Administration fédérale des contributions propose le rejet du recours. E. Par ordonnance du 20 août 2003, le Président de la IIe Cour de droit public a rejeté la demande d'effet suspensif. E. Par ordonnance du 20 août 2003, le Président de la IIe Cour de droit public a rejeté la demande d'effet suspensif. F. En annexe à sa duplique, l'Administration cantonale de l'impôt fédéral direct a produit une décision de rappel d'impôts et d'amendes du 19 janvier 2004. Pour l'impôt fédéral direct des périodes fiscales 1995-1996, 1997-1998 et 1999-2000, le montant total du rappel d'impôts se monte à 145'072.40 fr. et le montant des amendes à 206'300 fr. 