Faits : Faits : A. X._ est l'administrateur de X._ SA, sise à A._. Le but de cette société est la gérance de fortunes, conseils en placement et toutes autres prestations de conseils juridiques et financiers dans le domaine de l'administration de biens. SI L._ SA a été constituée le 31 janvier 1975. Son capital-actions se monte à 50'000 fr., soit 50 actions au porteur de 1'000 fr. Le 22 août 1975, elle a acquis un appartement dans un immeuble en propriété par étages à A._. La Fiduciaire Z._ SA est mandataire de ladite société depuis 1987. Z._ en est l'administrateur unique depuis 1986. Il en a signé les comptes et les déclarations d'impôt depuis lors. Le siège de SI L._ SA a été transféré en 2001 au domicile de Z._ à B._. L'actionnaire unique de SI L._ SA est décédé en 1988. Il était domicilié à l'étranger et n'était pas de nationalité suisse. En réponse à une demande de renseignements de l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale des impôts) relative à la période fiscale 1991-1992, Z._ a indiqué, par courrier du 25 mars 1992, que les nouveaux actionnaires de SI L._ SA étaient "des membres d'une hoirie de nationalité étrangère et domiciliée à l'étranger". Par lettre du 5 mars 1993, il a précisé qu'il ignorait l'identité et l'adresse de ces personnes et que celles-ci étaient représentées par X._, avec lequel il traitait exclusivement. L'actionnaire unique de SI L._ SA est décédé en 1988. Il était domicilié à l'étranger et n'était pas de nationalité suisse. En réponse à une demande de renseignements de l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale des impôts) relative à la période fiscale 1991-1992, Z._ a indiqué, par courrier du 25 mars 1992, que les nouveaux actionnaires de SI L._ SA étaient "des membres d'une hoirie de nationalité étrangère et domiciliée à l'étranger". Par lettre du 5 mars 1993, il a précisé qu'il ignorait l'identité et l'adresse de ces personnes et que celles-ci étaient représentées par X._, avec lequel il traitait exclusivement. B. Par "convention de vente d'actions et cession de créance" du 4 octobre 2001, les actionnaires de SI L._ SA, représentés par X._, ont vendu la totalité du capital-actions de ladite société. X._ a signé ledit contrat au nom des actionnaires. Le 1er juillet 2002, le "Syndicat d'actionnaires de SI L._ SA" a déposé la déclaration pour l'imposition des gains immobiliers. Le mandataire était Z._, lequel a signé la déclaration. Le 18 juillet 2002, lors d'un entretien dans les locaux de l'Administration cantonale des impôts, X._ a remis à celle-ci une attestation du notaire M._ selon laquelle "aucun des actionnaires de la société SI L._ SA, en liquidation, société anonyme dont le siège est à B._, n'est professionnel de l'immobilier". Par courrier du même jour à ladite Administration, X._ rappelle qu'il lui a fourni l'attestation susmentionnée, mentionne qu'il a donné le nom des deux actionnaires étrangers possédant chacun 30% du capital-actions de la société et prend note que l'Administration cantonale des impôts exige le nom des trois actionnaires suisses détenant le 40% restant sous peine de les considérer comme professionnels de l'immobilier et de les imposer comme tels. Il fait, en outre, savoir qu'il va aviser les actionnaires suisses de la position de ladite Administration et leur demander de se déterminer. Après avoir requis sans succès de X._ que chaque "actionnaire-vendeur" dépose sa propre déclaration pour l'imposition des gains immobiliers, l'Administration cantonale des impôts a fait parvenir à celui-ci une décision de taxation du 19 juin 2003. Cette décision mentionne que, comme l'identité des personnes ayant vendu les actions n'avait pas été communiquée à l'autorité de taxation et qu'il se pourrait que ces personnes soient des professionnels de l'immobilier, le bénéfice résultant de l'aliénation en cause a été imposé au titre de revenu pour la période 2001/2002, tant pour l'impôt fédéral direct que pour l'impôt cantonal et communal. Le bénéfice sur participation a été fixé à 452'000 fr. L'impôt fédéral direct était de 49'411 fr. 80 et l'impôt cantonal et communal de 69'279 fr. 80. En outre, cette décision infligeait une amende de 1'000 fr. à X._ pour violation des obligations de procédure relative à l'impôt cantonal et communal. L'intéressé a déposé une réclamation à l'égard de cette décision de taxation. Il y explique qu'il n'est pas le représentant des actionnaires mais qu'il est celui de l'ancien actionnaire unique de SI L._ SA qui l'avait mandaté pour procéder, à sa mort, à "des donations à certaines personnes". Il lui était dès lors absolument impossible de révéler, sans leur accord, l'identité des bénéficiaires de la vente en question aux autorités fiscales. Par courrier du 24 novembre 2004, l'Administration cantonale des impôts a, une nouvelle fois, sommé X._ de lui communiquer l'identité des actionnaires en cause, sous peine d'amendes. Celui-ci a recouru auprès du Tribunal administratif du canton de Vaud (ci-après: le Tribunal administratif) à l'encontre de cette sommation. Il a par la suite retiré son recours et la cause a été rayée du rôle. Le 23 février 2005, l'Administration cantonale des impôts a prononcé une nouvelle amende de 5'000 fr. au titre de violation des obligations de procédure pour l'impôt cantonal et communal et une de 1'000 fr. pour l'impôt fédéral direct. Elle a une fois de plus sommé X._ de lui fournir les noms et adresses des actionnaires de SI L._ SA ayant procédé à la vente, faute de quoi des amendes pourraient lui être infligées. L'intéressé a élevé réclamation à l'encontre de cette décision. Le 13 mai 2005, l'Administration cantonale des impôts a prononcé une amende de 10'000 fr. en matière de droit cantonal et de 5'000 fr. en matière de droit fédéral à l'encontre de X._, le sommant à nouveau de donner les identités requises. Celui-ci a déposé une réclamation à l'encontre de cette décision. Tout en précisant qu'une décision sur réclamation lui serait notifiée ultérieurement, l'Administration cantonale des impôts lui a, par décision du 25 mai 2005, infligé une amende de 10'000 fr. en matière d'impôt fédéral direct. Elle réitérait la sommation visant à obtenir les noms des actionnaires. L'intéressé a déposé une réclamation à l'encontre de cette décision. Le 13 mai 2005, l'Administration cantonale des impôts a prononcé une amende de 10'000 fr. en matière de droit cantonal et de 5'000 fr. en matière de droit fédéral à l'encontre de X._, le sommant à nouveau de donner les identités requises. Celui-ci a déposé une réclamation à l'encontre de cette décision. Tout en précisant qu'une décision sur réclamation lui serait notifiée ultérieurement, l'Administration cantonale des impôts lui a, par décision du 25 mai 2005, infligé une amende de 10'000 fr. en matière d'impôt fédéral direct. Elle réitérait la sommation visant à obtenir les noms des actionnaires. L'intéressé a déposé une réclamation à l'encontre de cette décision. C. Par décision sur réclamation du 31 mars 2006, portant sur la totalité des amendes reçues par X._, soit 1'000 fr., 5'000 fr. et 10'000 fr. en matière de droit cantonal et 1'000 fr., 5'000 fr. et 10'000 fr. en matière de droit fédéral, l'Administration cantonale des impôts a rejeté les réclamations du recourant. C. Par décision sur réclamation du 31 mars 2006, portant sur la totalité des amendes reçues par X._, soit 1'000 fr., 5'000 fr. et 10'000 fr. en matière de droit cantonal et 1'000 fr., 5'000 fr. et 10'000 fr. en matière de droit fédéral, l'Administration cantonale des impôts a rejeté les réclamations du recourant. D. Le Tribunal administratif a rejeté le recours de l'intéressé par arrêt du 7 décembre 2006. Il a en substance considéré que X._ n'avait pas apporté la preuve qu'il était tenu par un secret professionnel légalement protégé et, par conséquent, ne pouvait pas se retrancher derrière ce secret pour refuser de divulguer l'identité des bénéficiaires du produit de la vente des actions, requise par l'autorité de taxation. Ledit Tribunal a retenu que l'intéressé connaissait l'information demandée et que sa position était une position analogue à celle d'un exécuteur testamentaire. Dès lors, il ne pouvait ignorer que son refus de collaborer était susceptible de mettre en péril les impôts à prélever, puisqu'il empêchait l'autorité de taxation de vérifier si les contribuables devaient être considérés comme des professionnels de l'immobilier et imposés, le cas échéant, comme tels. Les éléments objectifs et subjectifs constitutifs d'une violation des obligations de procédure étant réalisés, c'était à bon droit que des amendes lui avaient été infligées. En outre, le montant des amendes respectait le principe de la proportionnalité. D. Le Tribunal administratif a rejeté le recours de l'intéressé par arrêt du 7 décembre 2006. Il a en substance considéré que X._ n'avait pas apporté la preuve qu'il était tenu par un secret professionnel légalement protégé et, par conséquent, ne pouvait pas se retrancher derrière ce secret pour refuser de divulguer l'identité des bénéficiaires du produit de la vente des actions, requise par l'autorité de taxation. Ledit Tribunal a retenu que l'intéressé connaissait l'information demandée et que sa position était une position analogue à celle d'un exécuteur testamentaire. Dès lors, il ne pouvait ignorer que son refus de collaborer était susceptible de mettre en péril les impôts à prélever, puisqu'il empêchait l'autorité de taxation de vérifier si les contribuables devaient être considérés comme des professionnels de l'immobilier et imposés, le cas échéant, comme tels. Les éléments objectifs et subjectifs constitutifs d'une violation des obligations de procédure étant réalisés, c'était à bon droit que des amendes lui avaient été infligées. En outre, le montant des amendes respectait le principe de la proportionnalité. E. Agissant par la voie du recours de droit administratif (2A.44/2007), X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 7 décembre 2006 du Tribunal administratif, subsidiairement, de réformer cet arrêt en ce sens que le recourant est libéré de toutes amendes. Il se plaint d'un état de faits insuffisant et inexact et d'une violation du droit fédéral. Il estime que, n'ayant aucune relation contractuelle avec les bénéficiaires de la vente des actions de SI L._ SA, il n'avait pas à fournir des attestations ou informations les concernant. Agissant également par la voie du recours de droit public (2P. 23/2007), X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 7 décembre 2006 du Tribunal administratif. Il invoque un déni de justice, ainsi que la violation des principes de l'égalité, de l'interdiction de l'arbitraire et de l'art. 6 CEDH. Le Tribunal administratif renonce à se déterminer sur le recours. L'Administration cantonale des impôts conclut au rejet du recours de droit administratif et à celui de droit public. L'Administration fédérale des contributions conclut au rejet du recours de droit administratif, sous suite de frais. 