Faits: A. X._ est un ingénieur qui a développé des procédés protégés par des brevets, qui ont été inscrits en novembre 1984 pour l'un sous son nom et pour l'autre conjointement sous son nom et celui de Y._. X._ a d'abord été employé de l'Institut A._ de 1968 à fin 1979. En 1984, il a été engagé par la société B._ SA en qualité de directeur général pour développer le concept de photos composeuses qu'il avait inventé. Hormis son contrat de travail, le 20 août 1984, il a passé avec cette dernière société un contrat de licence et de redevances. Le développement du produit a finalement redémarré par le biais d'une collaboration avec la société C._. En 1998, D._ et C._ se sont associées et ont fondé la société E._ Ltd (ci-après: E._). X._ a alors été engagé début décembre 1998 en qualité de directeur responsable du site de Z._. Le contrat de travail prévoyait que X._ dirigerait les travaux de l'équipe de recherches et développement dans le domaine de l'écriture numérique et qu'il se réservait la propriété intellectuelle des brevets dont il était titulaire. Il a en outre accordé à E._ une licence par le biais d'un premier contrat daté du 14 décembre 1998, puis par un second contrat de licence daté du 27 juillet 1999. Le 10 novembre 2001, X._ et E._ ont signé un contrat portant encore une fois sur les droits du premier, qui a été remplacé par un second contrat "rectificatif" daté du 1er avril 2005 avec effet rétroactif en octobre 2001, date de mise en application du premier contrat. Le 30 juin 2006, en raison de restructurations, la succursale de Z._ a été fermée et l'activité de X._ auprès de E._ a pris fin. En exécution des obligations résultant des conventions de licences, X._ a reçu de E._ le 23 juillet 1999, 800'000 fr., le 24 juillet 2000, 100'000 fr., le 1er juin 2001, 100'000 fr., soit un montant total de 1'000'000 fr. Par la suite, en exécution des contrats du 10 novembre 2001 et du 1er avril 2005, X._ aurait encore perçu trois annuités complémentaires en dollars équivalant à 130'900 fr. en 2002, à 119'395 fr. en 2004 et à 148'263 fr. en 2005. B. Le 9 novembre 2001, pour la période fiscale 2001/2002, X._ a déclaré un revenu imposable de 72'800 fr. et une fortune imposable de 1'024'000 fr. Se fondant sur les indications de la fiduciaire de X._, la décision de taxation du 5 juin 2002 a arrêté le revenu imposable à 470'200 fr. et la fortune imposable à 1'024'000 francs. Le 28 juin 2002, X._ a déposé une réclamation à l'encontre de la taxation du 5 juin 2002, au motif qu'il s'agissait d'un gain en capital privé provenant de sa fortune immatérielle. L'Administration cantonale des impôts a alors constaté que X._ avait reçu en 2002, 2004 et 2005 de la société E._ d'autres montants provenant de son brevet. Ces périodes fiscales ayant déjà été taxées et ces revenus n'ayant pas été déclarés, une enquête a été ouverte le 10 juillet 2008 par la Division de l'inspection fiscale de l'Administration cantonale des impôts. Le 4 mars 2009, l'Administration cantonale des impôts a rendu une décision de rappel d'impôt pour les périodes fiscales 2001-2002bis, 2004 et 2005. Le revenu soumis à l'impôt cantonal et communal pour 2002 (revenu extraordinaire durant la brèche) se montait à 130'900 fr. au lieu d'être nul, le revenu imposable pour 2004 se montait à 297'000 fr. au lieu de 177'600 fr. et le revenu imposable pour 2005 se montait à 341'400 fr. au lieu de 193'200 fr. Pour l'impôt fédéral direct, le revenu imposable pour 2002 se montait à 130'900 fr. au lieu d'être nul, le revenu imposable pour 2004 se montait à 291'300 fr. au lieu de 171'900 fr. et le revenu imposable pour 2005 à 338'300 fr. au lieu de 190'000 francs. Le 16 décembre 2009, l'Administration cantonale des impôts a rejeté les réclamations déposées par X._ contre la décision de taxation du 5 juin 2002 et la décision de rappel d'impôt du 4 mars 2009. Le 15 janvier 2010, X._ a déposé un recours contre la décision sur réclamation du 16 décembre 2009 auprès du Tribunal cantonal du canton de Vaud. C. Après avoir procédé à un double échange d'écritures, le Tribunal cantonal a rejeté par arrêt du 15 juin 2010 le recours déposé contre la décision sur réclamation rendue le 16 décembre 2009. Il a jugé que les montants perçus par l'intéressé entre 1999 et septembre 2001 puis ceux perçus entre le 22 juillet 2002 et le 21 juin 2005 étaient imposables au titre de revenus de biens immatériels au sens des art. 20 al. 1 let. f de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct et 23 al. 1 let. f de la loi du 4 juillet 2000 sur les impôts directs cantonaux (LI/VD; RSVD 642.11). Par surabondance de droit, il a jugé que les brevets en cause appartenaient à la fortune commerciale de l'intéressé. D. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt rendu le 15 juin 2010 par le Tribunal cantonal, la décision sur réclamation du 16 décembre 2009, la décision de taxation du 5 juin 2002 et la décision de rappel d'impôt du 4 mars 2009 et de constater que le gain perçu sur l'aliénation du brevet n'est pas imposable. L'Administration cantonale des impôts et l'Administration fédérale des contributions concluent au rejet du recours E. Par ordonnance du 24 août 2010, le Président de la IIe Cour de droit public a refusé d'accorder l'effet suspensif au recours. 