Faits : Faits : A. A.X._ et B.X._, domiciliés à C._, détiennent la quasi-totalité du capital-actions de la société D.X._ SA qui est active dans le commerce de matériaux de construction. Lors des exercices 1996 à 2000, cette société a distribué les dividendes suivants: Exercice Bénéfice comptable (fr.) Dividende total (fr.) Dividende touché par les époux X._ (fr.) Echéance du dividende 1996 380'587 / / 1997 384'736 / / 1998 403'564 101'250 98'100 26.11.1999 1999 432'405 150'075 145'406 31.10.2000 2000 458'486 202'500 196'200 31.08.2001 2001 220'030 202'500 196'200 30.06.2002 B. La Commission d'impôt de district pour la commune de Sion a procédé à la taxation des dividendes perçus en 2001 et 2002 par décisions du 22 octobre 2003. Elle a considéré ces dividendes, qui tombaient dans la brèche de calcul due au passage du système praenumerando bisannuel au système postnumerando annuel, comme des revenus extraordinaires et a déterminé le montant imposable pour 2001 et pour 2002 de la façon suivante: B. La Commission d'impôt de district pour la commune de Sion a procédé à la taxation des dividendes perçus en 2001 et 2002 par décisions du 22 octobre 2003. Elle a considéré ces dividendes, qui tombaient dans la brèche de calcul due au passage du système praenumerando bisannuel au système postnumerando annuel, comme des revenus extraordinaires et a déterminé le montant imposable pour 2001 et pour 2002 de la façon suivante: Fr. Dividende extraordinaire 196'200 Charges en rapport immédiat avec l'acquisition des revenus (81'169) Total pour l'impôt cantonal et l'impôt fédéral direct 115'031 Le montant de 81'169 fr. déduit des 196'200 fr. correspond à la moyenne des dividendes touchés en 1998, 1999 et 2000 ([0 fr. + 98'100 fr. + 145'406 fr.] : 3). Ces taxations ont été confirmées par décisions sur réclamation du 22 décembre 2003. La Commission cantonale de recours en matière fiscale du canton du Valais (ci-après: la Commission cantonale de recours) a rejeté le recours de A.X._ par décision du 23 mars 2005. Le montant de 81'169 fr. déduit des 196'200 fr. correspond à la moyenne des dividendes touchés en 1998, 1999 et 2000 ([0 fr. + 98'100 fr. + 145'406 fr.] : 3). Ces taxations ont été confirmées par décisions sur réclamation du 22 décembre 2003. La Commission cantonale de recours en matière fiscale du canton du Valais (ci-après: la Commission cantonale de recours) a rejeté le recours de A.X._ par décision du 23 mars 2005. C. Par arrêt du 3 novembre 2006, le Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal) a rejeté le recours de l'intéressé aussi bien en ce qui concerne l'impôt fédéral direct que les impôts cantonal et communal. Il a jugé que les dividendes reçus par les époux X._ constituaient des revenus extraordinaires et étaient donc imposables. Il a en outre approuvé la façon dont l'autorité de taxation a calculé les revenus imposables (point B ci-dessus), soit la déduction du montant perçu de la moyenne des dividendes versés les trois années antérieures à 2001. C. Par arrêt du 3 novembre 2006, le Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal) a rejeté le recours de l'intéressé aussi bien en ce qui concerne l'impôt fédéral direct que les impôts cantonal et communal. Il a jugé que les dividendes reçus par les époux X._ constituaient des revenus extraordinaires et étaient donc imposables. Il a en outre approuvé la façon dont l'autorité de taxation a calculé les revenus imposables (point B ci-dessus), soit la déduction du montant perçu de la moyenne des dividendes versés les trois années antérieures à 2001. D. Sans en préciser la nature, A.X._ interjette un recours auprès du Tribunal fédéral et conclut à ce que son « recours devant le Tribunal cantonal soit accepté pour le montant dépassant mon revenu effectif soit 40'584 fr. pour chacune des deux années 2001 et 2002 ». Il demande également que les taxations des revenus extraordinaires des années 2001 et 2002 fixés à 115'031 fr. soient ramenés à 74'447 fr et que les frais et dépens fixés par le Tribunal cantonal et la Commission cantonale de recours soient mis à la charge de la collectivité. Il estime que le montant des revenus extraordinaires n'a pas été arrêté correctement. Le Tribunal cantonal renonce à se déterminer. Le Service cantonal des contributions du canton du Valais renvoie à son écriture du 30 juillet 2004 déposée devant la Commission cantonale de recours, à la décision de cette instance et à l'arrêt entrepris et conclut au rejet du recours. L'Administration fédérale des contributions conclut également au rejet du recours. Interpellé par courrier du 18 juin 2007 par le juge délégué sur une éventuelle reformatio in pejus de la décision attaquée, le recourant, dans sa réponse du 2 juillet 2007, ne s'est pas clairement déterminé sur le maintien ou le retrait de son recours. Le juge délégué lui a octroyé un ultime délai au 16 juillet 2007 pour ce faire. L'intéressé n'y a pas donné suite. 