Faits: Faits: A. X._, né en 1945, a été engagé par la Y._ Bank en 1971, puis en est devenu le directeur général en 1986. Démis de ses fonctions le 26 mai 2000, il a été licencié le 16 février 2001. Le 6 juillet 2001, la Y._ Bank a déposé plainte pénale contre l'intéressé pour infractions contre le patrimoine. Un accord civil étant ensuite intervenu, la procédure pénale a été classée en opportunité. Le 6 juillet 2001, la Y._ Bank a déposé plainte pénale contre l'intéressé pour infractions contre le patrimoine. Un accord civil étant ensuite intervenu, la procédure pénale a été classée en opportunité. B. Le 22 août 2003, Z._ & Cie SA, banque de siège social à Genève, a informé la Commission fédérale des banques qu'elle envisageait d'intégrer X._ à son conseil d'administration. Statuant le 25 février 2004 en application de l'art. 3 al. 2 lettre c de la loi fédérale du 8 novembre 1934 sur les banques et les caisses d'épargne (loi sur les banques; LB; RS 952.0), la Commission fédérale des banques a prononcé que l'intéressé ne présentait pas pour le moment une garantie d'activité irréprochable suffisante pour occuper le poste de membre du conseil d'administration de la Z._ & Cie SA, cette interdiction valant jusqu'au 31 décembre 2006. Statuant le 25 février 2004 en application de l'art. 3 al. 2 lettre c de la loi fédérale du 8 novembre 1934 sur les banques et les caisses d'épargne (loi sur les banques; LB; RS 952.0), la Commission fédérale des banques a prononcé que l'intéressé ne présentait pas pour le moment une garantie d'activité irréprochable suffisante pour occuper le poste de membre du conseil d'administration de la Z._ & Cie SA, cette interdiction valant jusqu'au 31 décembre 2006. C. Agissant par la voie du recours de droit administratif, X._ demande au Tribunal fédéral d'annuler le jugement du 25 février 2004 de la Commission fédérale des banques et de dire qu'il est autorisé à occuper le poste d'administrateur de la Z._ et Cie SA dès le prononcé de l'arrêt à rendre, subsidiairement d'inviter l'autorité intimée à lui délivrer l'autorisation sollicitée. Il dénonce une application de l'art. 3 al. 2 lettre c LB contraire aux principes de la proportionnalité, de l'égalité et de l'interdiction de l'arbitraire (art. 5 al. 2, 8 et 9 Cst.). Il n'a pas été requis d'observations. 