Faits: Faits: A. Dans un rapport du 15 mai 2001 relatif à la révision de la comptabilité de A._, avocat et notaire à X._, portant sur les années 1995 à 1998, le Service cantonal des contributions du canton du Valais (ci-après: le Service cantonal) a proposé de reprendre dans le revenu imposable des périodes fiscales 1997/1998 et 1999/2000 14'091 fr. pour 1995, 7'971 fr. pour 1996, 98'181 fr. pour 1997 et 3'072 fr. pour 1998. Il s'agissait notamment de provisions de clients qui n'avaient pas été comptabilisées dans le compte de pertes et profits de l'intéressé. Les avis de taxation des périodes fiscales en cause comprenant les reprises ont été notifiées le 21 mai 2001 et n'ont pas été contestés. Par décisions du 27 septembre 2002, le Service cantonal a prononcé à l'encontre de A._ une amende pour tentative de soustraction fiscale de 8'021 fr. pour l'impôt fédéral direct, de 8'624 fr. pour l'impôt cantonal et de 7'700 fr. pour l'impôt communal, correspondant à 50% des montants d'impôts non déclarés. Le 28 octobre 2002, A._ a déposé deux réclamations, la première dirigée contre la décision d'amende en matière d'impôt fédéral direct et la deuxième contre la décision d'amende en matière d'impôts cantonal et communal. Par décision du 7 avril 2005, le Département des finances, de l'agriculture et des affaires extérieures, devenu le Département des finances, des institutions et de la sécurité, a rejeté la réclamation de A._ contre la décision du 27 septembre 2002 en matière d'impôts cantonal et communal. Contre cette décision, A._ s'est pourvu en appel auprès du Tribunal cantonal. Par décisions du 27 septembre 2002, le Service cantonal a prononcé à l'encontre de A._ une amende pour tentative de soustraction fiscale de 8'021 fr. pour l'impôt fédéral direct, de 8'624 fr. pour l'impôt cantonal et de 7'700 fr. pour l'impôt communal, correspondant à 50% des montants d'impôts non déclarés. Le 28 octobre 2002, A._ a déposé deux réclamations, la première dirigée contre la décision d'amende en matière d'impôt fédéral direct et la deuxième contre la décision d'amende en matière d'impôts cantonal et communal. Par décision du 7 avril 2005, le Département des finances, de l'agriculture et des affaires extérieures, devenu le Département des finances, des institutions et de la sécurité, a rejeté la réclamation de A._ contre la décision du 27 septembre 2002 en matière d'impôts cantonal et communal. Contre cette décision, A._ s'est pourvu en appel auprès du Tribunal cantonal. B. Par arrêt du 21 décembre 2005, la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal) a rejeté le recours déposé par A._ contre la décision sur réclamation du 7 avril 2005. Le Tribunal cantonal a retenu en substance que les écritures comptables des exercices en cause étaient passées par la secrétaire de l'intéressé, qui les transmettait sans instruction à la fiduciaire chargée de boucler les comptes. Il s'agissait là d'un manquement au devoir de surveillance qui incombait au contribuable, d'autant que ce dernier avait modifié la gestion comptable de son étude au début de la période 1995/1996, notamment par l'ouverture d'un compte bancaire destiné aux provisions de clients, à comptabiliser comme recettes au moment de l'établissement de la facture et du transfert du montant facturé sur le compte CCP de l'étude. Une surveillance effective et des instructions auraient permis d'éviter que, par méconnaissance de la nature des avances de clients, la fiduciaire ne traitât celles-ci comme des apports privés non imposables. Le processus usuel de transfert n'avait d'ailleurs pas toujours été respecté: certains montants versés sur le compte bancaire n'avaient pas transité par le compte de résultats, mais avaient été directement crédités sur le compte privé de l'intéressé. Ce dernier ne pouvait pas ne pas s'apercevoir de l'erreur commise par la fiduciaire qui s'était traduite par une augmentation massive de recettes non comptabilisées et une baisse corrélative du bénéfice comptable. Cette baisse avait d'ailleurs excédé les variations habituelles du bénéfice annuel imposable. Par conséquent, l'intéressé devait avoir conscience de l'insuffisance des taxations en cause, ce qui créait la présomption - non renversée - de l'intention de soustraire par dol éventuel. Les amendes fixées à 50% des impôts non déclarés ne pouvaient être encore atténuées en raison de l'importance des montants soustraits. B. Par arrêt du 21 décembre 2005, la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal) a rejeté le recours déposé par A._ contre la décision sur réclamation du 7 avril 2005. Le Tribunal cantonal a retenu en substance que les écritures comptables des exercices en cause étaient passées par la secrétaire de l'intéressé, qui les transmettait sans instruction à la fiduciaire chargée de boucler les comptes. Il s'agissait là d'un manquement au devoir de surveillance qui incombait au contribuable, d'autant que ce dernier avait modifié la gestion comptable de son étude au début de la période 1995/1996, notamment par l'ouverture d'un compte bancaire destiné aux provisions de clients, à comptabiliser comme recettes au moment de l'établissement de la facture et du transfert du montant facturé sur le compte CCP de l'étude. Une surveillance effective et des instructions auraient permis d'éviter que, par méconnaissance de la nature des avances de clients, la fiduciaire ne traitât celles-ci comme des apports privés non imposables. Le processus usuel de transfert n'avait d'ailleurs pas toujours été respecté: certains montants versés sur le compte bancaire n'avaient pas transité par le compte de résultats, mais avaient été directement crédités sur le compte privé de l'intéressé. Ce dernier ne pouvait pas ne pas s'apercevoir de l'erreur commise par la fiduciaire qui s'était traduite par une augmentation massive de recettes non comptabilisées et une baisse corrélative du bénéfice comptable. Cette baisse avait d'ailleurs excédé les variations habituelles du bénéfice annuel imposable. Par conséquent, l'intéressé devait avoir conscience de l'insuffisance des taxations en cause, ce qui créait la présomption - non renversée - de l'intention de soustraire par dol éventuel. Les amendes fixées à 50% des impôts non déclarés ne pouvaient être encore atténuées en raison de l'importance des montants soustraits. C. Agissant par la voie du recours de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt rendu le 21 décembre 2005 par le Tribunal cantonal ainsi que les amendes du 27 septembre 2002 en faveur du canton et de la commune de Sierre. Il se plaint d'une appréciation arbitraire des preuves portant sur les variations du bénéfice imposable ainsi que sur l'absence d'instructions à la fiduciaire et de contrôle. Il se plaint également d'une violation de son droit d'être entendu et d'une application arbitraire du droit cantonal. Le Département des finances, des institutions et de la sécurité conclut au rejet du recours. Le Tribunal cantonal renonce à se déterminer. 