Faits: Faits: A. X._, banquier, est entré, en 1990, au sein de la Banque Y._ & Z._en achetant la part de M. Y._. La banque, qui a la forme d'une société en commandite simple, a alors changé sa raison sociale en Z._, X._ & Cie (ci-après: la banque). A._, associé de X._ dans deux autres sociétés, a servi d'intermédiaire dans le cadre de cette prise de participation. X._ s'est ainsi engagé, par courriers des 19 et 25 novembre 1990, à lui verser, en cas de vente de sa part du capital-actions de la banque, la moitié du bénéfice net. A. X._, banquier, est entré, en 1990, au sein de la Banque Y._ & Z._en achetant la part de M. Y._. La banque, qui a la forme d'une société en commandite simple, a alors changé sa raison sociale en Z._, X._ & Cie (ci-après: la banque). A._, associé de X._ dans deux autres sociétés, a servi d'intermédiaire dans le cadre de cette prise de participation. X._ s'est ainsi engagé, par courriers des 19 et 25 novembre 1990, à lui verser, en cas de vente de sa part du capital-actions de la banque, la moitié du bénéfice net. B. Avant la transaction susmentionnée, X._ et A._ avaient fondé ensemble les sociétés R._ S.A. et E._ S.A. Elles ont toutes deux pour but le commerce de marchandises de toute nature et l'exploitation d'établissements publics. X._ détenait le 47% du capital-actions de E._ SA et A._ le 51%. E._ SA était propriétaire de la pizzeria "B._" à Lausanne. X._ et A._ détenaient chacun 50% du capital-actions de R._ SA. Cette société a obtenu, le 2 février 1990, le financement nécessaire à l'achat du restaurant "C._" (qui a changé de nom par la suite) également à Lausanne. La banque M._ lui a, en effet, accordé un crédit allant jusqu'à 1'800'000 fr. finançant la totalité de cette acquisition. X._ et A._ se sont portés cautions solidaires de cette dette en faveur du Crédit Suisse. B. Avant la transaction susmentionnée, X._ et A._ avaient fondé ensemble les sociétés R._ S.A. et E._ S.A. Elles ont toutes deux pour but le commerce de marchandises de toute nature et l'exploitation d'établissements publics. X._ détenait le 47% du capital-actions de E._ SA et A._ le 51%. E._ SA était propriétaire de la pizzeria "B._" à Lausanne. X._ et A._ détenaient chacun 50% du capital-actions de R._ SA. Cette société a obtenu, le 2 février 1990, le financement nécessaire à l'achat du restaurant "C._" (qui a changé de nom par la suite) également à Lausanne. La banque M._ lui a, en effet, accordé un crédit allant jusqu'à 1'800'000 fr. finançant la totalité de cette acquisition. X._ et A._ se sont portés cautions solidaires de cette dette en faveur du Crédit Suisse. C. De nombreux litiges ont opposés les deux associés à propos des sociétés R._ SA et E._ SA. Ces litiges ont donné lieu à des procédures sur les plans tant pénal que civil. X._ s'est alors vu contraint de vendre sa participation au capital de la banque à son associé, Z._, par convention du 13 avril 1994. A la suite de cette vente, le 25 juillet 1994, X._ a déposé une déclaration pour l'impôt spécial sur les bénéfices en capital. Selon celle-ci, le bénéfice imposable se montait à 4'142'625 fr. Toutefois, X._ précisait qu'une commission sur le bénéfice de la vente de sa participation était due à A._ mais qu'en raison des litiges qui opposaient les deux associés, le montant de cette commission ne pouvait pas encore être fixé. A la suite de cette vente, le 25 juillet 1994, X._ a déposé une déclaration pour l'impôt spécial sur les bénéfices en capital. Selon celle-ci, le bénéfice imposable se montait à 4'142'625 fr. Toutefois, X._ précisait qu'une commission sur le bénéfice de la vente de sa participation était due à A._ mais qu'en raison des litiges qui opposaient les deux associés, le montant de cette commission ne pouvait pas encore être fixé. D. Par convention du 17 janvier 1995, X._ et A._, avec les sociétés R._ SA et E._ SA, ont mis fin à leurs différends. La transaction prévoit que les parties retirent toutes les plaintes pénales déposées. Elles s'engagent à faire de même avec les actions civiles, une fois des décisions de non-lieu rendues, les contentieux civils étant réglés dans la convention. En outre, X._ cède à A._ ses participations dans R._ SA et E._ SA pour 1 fr., ainsi qu'à titre gratuit, toutes ses créances à l'égard des deux sociétés. Puis, X._ s'engage à verser à A._ 750'000 fr. "représentant le montant arrêté d'un commun accord de la participation de A._ à la plus-value réalisée par X._ lors de la vente de sa participation dans Z._ & Cie, banquiers, selon lettres des 19 et 25 novembre 1990". A._ s'engage à faire libérer X._ du cautionnement fourni au Crédit Suisse pour garantir les engagements de R._ SA. Ce n'est qu'à réception d'une attestation de la banque M._ lui signifiant qu'il est libéré dudit cautionnement que X._ doit autoriser le transfert des titres consignés et des 750'000 fr. en faveur de A._. Finalement, la convention stipule que, dans l'hypothèse où A._ ne parviendrait pas à obtenir de la banque M._ qu'il libère X._ de son obligation de cautionnement dans un certain délai, les engagements pris par X._ de transférer ses actions de R._ SA à A._, de lui verser la somme de 750'000 fr. et de lui céder les créances en cause "deviendront caducs et seront remplacés par l'obligation de A._ de transférer à X._ la totalité des 50% du capital-actions de R._ SA qu'il détient, sans garantie, contre paiement d'une somme par X._ à A._ de 550'000 fr., représentant le montant arrêté d'un commun accord dans cette hypothèse de la participation de A._ à la plus-value réalisée par X._ lors de la vente de sa participation dans Z._ & Cie, banquiers, selon lettres des 19 et 25 novembre 1990". Après un versement de 1'072'745 fr. de A._ sur le compte de R._ SA à la banque M._ (et de 58'500 fr. sur un compte d'épargne pour garantie de loyer), celui-ci a libéré X._ et A._ des obligations résultant du cautionnement des 1'800'000 fr. garantissant les engagements de R._ SA. Après un versement de 1'072'745 fr. de A._ sur le compte de R._ SA à la banque M._ (et de 58'500 fr. sur un compte d'épargne pour garantie de loyer), celui-ci a libéré X._ et A._ des obligations résultant du cautionnement des 1'800'000 fr. garantissant les engagements de R._ SA. E. X._ a informé l'autorité de taxation de cette transaction. Il a fait valoir, en déduction du bénéfice imposable, une commission d'un montant total de 1'786'230 fr. Selon un courrier du 15 janvier 1996, la fiduciaire de X._ expliquait que la commission a été versée en partie en espèces et en partie par des abandons de créances et des cessions de titres, soit: "En espèces Fr. 750'000.- En titres E._ SA Fr. 550'000.- En abandon de créances contre E._ SA Fr. 426'230.- En titres et créances contre R._ SA (estimation très prudente, société très obérée) Fr. 60'000.- Total Fr. 1'786'000.- ============" ============" F. Dans sa décision de taxation du 21 septembre 1995, puis dans celle corrigée du 18 janvier 1996, l'Office d'impôt de district de Lausanne Ville (ci-après: l'Office d'impôt), a uniquement admis, en déduction du bénéfice imposable, une commission de 750'000 fr. Le bénéfice en capital imposable se montait en définitive à 4'049'100 fr., après dé- duction des cotisations AVS, et les impôts cantonal et communal à 657'658.20 fr. L'Administration cantonale des impôts du canton de Vaud (ci- après: l'Administration cantonale des impôts), dans sa décision sur réclamation du 29 mai 2002, a confirmé la décision de taxation du 18 janvier 1996. L'Administration cantonale des impôts du canton de Vaud (ci- après: l'Administration cantonale des impôts), dans sa décision sur réclamation du 29 mai 2002, a confirmé la décision de taxation du 18 janvier 1996. G. Après avoir procédé à une audition des deux associés, le Tribunal administratif a rejeté le recours de X._ par arrêt du 10 mars 2003. Il a retenu que la convention prévoyait que X._ s'engageait à verser à A._ 750'000 fr. représentant le montant arrêté d'un commun accord de la participation de A._ à la plus-value réalisée par X._ lors de la vente de sa participation dans la banque. Il a ensuite considéré que la cession de titres de R._ SA et l'abandon de créances envers cette société, vu sa situation économique précaire, ne valaient rien. Quant à la cession des actions de E._ SA et l'abandon de créances contre cette deuxième société, ils valaient effectivement à peu près les 976'230 fr. auxquels X._ les estimaient. Ils avaient toutefois été cédés en contre-partie de la libération de la caution auprès de la banque M._. Le Tribunal administratif a conclu que X._ n'avait pas réussi à prouver que la commission était supérieure aux 750'000 fr. versés en espèces. G. Après avoir procédé à une audition des deux associés, le Tribunal administratif a rejeté le recours de X._ par arrêt du 10 mars 2003. Il a retenu que la convention prévoyait que X._ s'engageait à verser à A._ 750'000 fr. représentant le montant arrêté d'un commun accord de la participation de A._ à la plus-value réalisée par X._ lors de la vente de sa participation dans la banque. Il a ensuite considéré que la cession de titres de R._ SA et l'abandon de créances envers cette société, vu sa situation économique précaire, ne valaient rien. Quant à la cession des actions de E._ SA et l'abandon de créances contre cette deuxième société, ils valaient effectivement à peu près les 976'230 fr. auxquels X._ les estimaient. Ils avaient toutefois été cédés en contre-partie de la libération de la caution auprès de la banque M._. Le Tribunal administratif a conclu que X._ n'avait pas réussi à prouver que la commission était supérieure aux 750'000 fr. versés en espèces. H. Agissant par la voie du recours de droit public, X._ demande au Tribunal fédéral de dire qu'une caution ne correspond ni à une dépense, ni à une déduction admise fiscalement et que, a contrario, la caducité d'une caution non exercée ne constitue pas une prestation imposable. Il soutient que l'arrêt entrepris est entaché d'arbitraire (art. 9 Cst.). L'Administration des impôts conclut au rejet du recours. Le Tribunal administratif conclut dans le même sens. L'Administration des impôts conclut au rejet du recours. Le Tribunal administratif conclut dans le même sens. I. X._ a été autorisé à déposer une réplique limitée aux éléments nouveaux prétendument contenus dans les observations du Tribunal administratif. Il y confirme implicitement ses conclusions. 