Faits: A. X._ et Y._ ainsi que leurs quatre enfants étaient domiciliés à A._ dans le canton de Vaud. Le 6 octobre 1994, X._ s'est établi en Valais. Son épouse est restée à A._ avec les enfants dans la villa familiale. Les époux ont été imposés dans le canton de Vaud jusqu'au 6 octobre 1994. Dès cette date et jusqu'au 31 décembre 2003, ils ont été imposés en Valais comme époux vivant en ménage commun. Le Tribunal civil de l'arrondissement de Lausanne a prononcé le divorce desdits époux par jugement du 6 octobre 2006. B. Le 3 novembre 1994, l'Office d'impôt du district de Lausanne a notifié aux époux X._ - Y._ une décision de taxation définitive relative aux impôt cantonaux et communaux de la période fiscale 1993-1994. Le 12 juin 1995, ledit Office leur a fait parvenir au domicile de A._ une décision de taxation définitive pour l'impôt fédéral direct de la même période fiscale. Les époux ont déposé une réclamation. Le 13 mars 2006, l'Administration cantonale des impôts a rendu, après enquête, une décision fixant le domicile fiscal des époux X._ - Y._ à A._ pour la période fiscale 2004. S'agissant des impôts de la période de taxation 1993/1994, l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale des impôts) a fait une proposition de règlement le 1er juin 2006 aux intéressés. Cette proposition n'ayant pas été acceptée, ladite Administration a rendu, le 22 août 2006, une décision sur réclamation concernant l'impôt fédéral direct et les impôts cantonaux et communaux 1993/1994. Cette décision a été notifiée par lettre-signature aux époux X._ - Y._ au domicile de A._. Y._ a recouru contre la décision sur réclamation du 22 août 2006 précisant qu'elle agissait seule et pour elle-même. Le Tribunal administratif du canton de Vaud (ci-après: le Tribunal administratif), par arrêt du 15 décembre 2006, a partiellement admis le recours. Il a constaté la prescription de la créance d'impôt fédéral direct 1993-1994. Il a rejeté le recours pour le surplus. Cet arrêt est entré en force. C. Le 1er février 2007, X._ a recouru contre la décision du 22 août 2006 faisant valoir que celle-ci ne lui avait pas été notifiée à son domicile de B._ en Valais. Il n'en avait eu connaissance qu'à la suite d'un échange de correspondance avec le mandataire de Y._. Par arrêt du 13 juillet 2007, le Tribunal administratif a rejeté le recours de l'intéressé. Il a laissé ouverte la question de savoir si la décision du 22 août 2006 avait été notifiée correctement et celle de la bonne foi de X._, jugeant que, de toute façon, l'arrêt du Tribunal administratif du 15 décembre 2006 était entré en force et ne pouvait plus être remis en cause. Il réglait définitivement la taxation de la période fiscale 1993-1994. D. Agissant par la voie du "recours de droit public", X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal administratif du 13 juillet 2007. Il estime que la décision sur réclamation du 22 août 2006 aurait dû être notifiée, non seulement au domicile de son épouse à A._, mais également au sien à B._. Il invoque une constatation des faits arbitraire ainsi que la violation du principe de la bonne foi et du droit d'être entendu. Il estime également que l'arrêt entrepris est arbitraire dans sa motivation. L'Administration cantonale des impôts conclut au rejet du recours dans la mesure où il est recevable. Le Tribunal administratif renonce à déposer une réponse et se réfère à l'arrêt entrepris. L'Administration fédérale des contributions conclut au rejet du recours. 