Faits: A. X._ (ci-après: l'intéressé), ancien sportif professionnel, était domicilié à D._ (VS) du 5 avril 1996 au 20 janvier 1998, puis, dès cette date, à A._ (VD). Le 18 septembre 1996, a été constituée, avec siège social à A._, la société immobilière B._ SA dont le capital-actions de 100'000 fr est détenu en plus grande partie par l'intéressé. Le 18 décembre 1996, l'intéressé a acquis la totalité du capital-actions de la société immobilière C._ en liquidation à Lausanne pour le prix de 1'800'000 fr. Cette société est propriétaire d'un immeuble à Genève. Le même jour, il a revendu la totalité du capital-actions de cette société à B._ SA pour le prix de 2'400'000 fr. Le 14 février 1997, les statuts de la B._ SA ont été modifiés et son capital-actions augmenté de 100'000 fr. à 500'000 fr. par compensation de créances dues par la société à l'intéressé. B. Par décision de taxation du 18 juin 2001, les autorités fiscales genevoises ont soumis à l'impôt sur les gains immobiliers la différence entre le prix de vente de 2'400'000 des actions de la SI C._ SA cédées à B._ SA et le prix d'achat de 1'800'000.- soit un montant de 398'000 fr. compte tenu des impenses de 202'000 fr. Cette taxation est entrée en force. Par décision du 7 septembre 2004, l'Office d'impôt de district de Vevey a imposé comme rendement de participation la différence entre le prix de vente des actions de la SI C._ SA et leur valeur nominale, soit 2'350'000 fr. Par décision sur réclamation du 2 mai 2006, cette taxation a été annulée, la compétence d'imposer revenant d'après l'Administration cantonale des impôts du canton de Vaud au canton du Valais. Le 26 juin 2006, après avoir pris connaissance de la décision sur réclamation rendue le 2 mai 2006 par l'Administration cantonale des impôts du canton de Vaud, la Commission d'impôt du district de E._ (VS) a ouvert une procédure de rappel d'impôts fédéral, cantonal et communal pour la période fiscale 1997/1998. Par décision du 2 novembre 2006, la Commission d'impôt a procédé au rappel d'impôts fédéral, cantonal et communal à l'encontre de X._ en taxant un montant complémentaire de 2'350'000 fr. Cette décision a été confirmée par décision sur réclamation du 27 juillet 2007. Par mémoire du 23 août 2007, l'intéressé a interjeté recours contre la décision sur réclamation du 27 juillet 2007 auprès de la Commission cantonale de recours en matière d'impôt du canton du Valais. Durant l'échange des écritures, par courrier du 27 mars 2008, cette dernière a informé l'intéressé qu'en matière d'impôts cantonal et communal se posait encore la question de l'imposition au titre de fortune des actions de B._ SA. C. Par décision du 21 mai 2008, la Commission cantonale de recours a rejeté le recours en tant qu'il concernait l'impôt fédéral direct et l'a partiellement admis dans le sens des considérants en tant qu'il concernait les impôts cantonal et communal. Pour ces impôts, le rappel d'impôt sur le revenu était annulé tandis que, pour la période du 1er janvier 2007 (sic) au 20 janvier 2008 (sic), un rappel d'impôt sur la fortune était effectué, portant la fortune imposable à 456'000 fr. à laquelle devait être appliqué un taux correspondant à 2'228'000 fr. En substance, le délai pour procéder à un rappel d'impôt fédéral direct était respecté. L'opération immobilière devait être qualifiée de transposition, l'intéressé ayant transféré à B._ SA, dont il est l'actionnaire majoritaire, la totalité du capital-actions de la SI C._ à Genève pour une valeur de 2'400'000 fr., supérieure à la valeur nominale des actions arrêtée à 50'000 fr. La différence constituait un rendement de participation imposable. La perception de l'impôt fédéral direct sur ce rendement et celle d'un impôt sur les gains immobiliers par les autorités fiscales genevoises sur la différence entre le prix de vente des actions et leur prix d'achat sous déduction des impenses ne constituaient pas une double imposition prohibée. Le délai pour procéder à un rappel d'impôts cantonal et communal avait été respecté par l'ouverture de la procédure de rappel le 26 juin 2006. En revanche, le droit d'imposer l'opération immobilière échappait au canton du Valais, qui conservait néanmoins le droit d'imposer la fortune privée du contribuable, domicilié à D._ le 1er janvier 1997 jusqu'à son départ le 20 janvier 1998. Les actions de B._ SA devaient être estimées sur la base des fonds propres existant à la fin du premier exercice soit à 127'000 fr. D. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, de réformer la décision rendue le 21 mai 2008 par la Commission cantonale de recours en matière d'impôt, l'impôt fédéral direct et l'impôt sur la fortune fixés par cette décision étant annulés. Invoquant l'art. 9 Cst., il soutient que la décision est arbitraire en tant qu'elle qualifie l'opération litigieuse de gain immobilier pour les impôts cantonal et communal et de rendement de participation pour l'impôt fédéral direct. Subsidiairement, il soutient qu'il n'y pas de fait de nouveaux justifiant une procédure de rappel d'impôt et que la prescription est acquise. L'Administration fédérale des contributions, la Commission cantonale de recours en matière fiscale et le service cantonal des contributions du canton du Valais concluent au rejet du recours sous suite de frais. 