Faits: A. A.a X._, domicilié dans la commune de A._, a fondé en 1985 la société B._ SA, à A._, dont le but social est la recherche, le développement, la fabrication, l'ingénierie dans les domaines technique, mécanique, chimique et industriel, et toutes activités de nature à favoriser le développement de l'entreprise. En collaboration avec cette entreprise, X._ a développé et exploité un système sécurisé de prélèvement de produits toxiques. Au terme de diverses procédures judiciaires, le brevet principal n° xxx a toutefois été invalidé. A la suite de l'invalidation du brevet, X._ a décidé de fermer son entreprise et a licencié tout son personnel. Par conventions des 14 novembre 2004 et 26 septembre 2005, X._ a accepté de revenir sur ces décisions. Il a alors quitté le conseil d'administration et la direction de la société, activités reprises par deux de ses fils. X._ s'est également séparé d'une partie des actions de B._ SA. Selon les termes de la convention du 26 septembre 2005, X._ transmettait à la société les droits de fabrication et de commercialisation des dispositifs de prélèvement d'échantillons faisant l'objet de divers brevets et marques, dont le brevet invalidé n° xxx. Il s'engageait également à ne pas faire de concurrence à B._ SA en relation avec les brevets et marques cédés. Le transfert des droits et les engagements pris étaient conclus pour une somme de CHF 2'800'500.-, dont était déduit le montant de CHF 375'094.- correspondant à des droits de licences et des frais d'acquisition et de défense des brevets payés par B._ SA, soit un montant net de CHF 2'425'406.-. X._ s'engageait en outre à prendre à sa charge tous les frais pouvant découler des procès en cours, provisionnés à fin 2004 pour un montant de CHF 1'450'000.- dans les comptes de la société. B._ SA a versé à X._ la somme de CHF 2'609'736.- en exécution de cette convention, soit le montant convenu majoré de la TVA. A la fin de l'exercice 2005, les provisions de CHF 1'450'000.- ont été dissoutes dans les comptes de B._ SA. A.b Le 6 juin 2006, X._ a déposé sa déclaration d'impôts cantonal et communal et d'impôt fédéral direct pour l'année 2005. Il y indiquait un revenu de CHF 163'357.- provenant d'une activité dépendante au sein de B._ SA jusqu'au 31 juillet 2005, un revenu de la fortune mobilière de CHF 3'968.-, une fortune en titres et autres placements en capitaux de CHF 2'421'575.-, et des dettes de CHF 2'731'700.-. Par décision de taxation du 7 février 2007, la Commission d'impôt de district pour la commune de A._ (ci-après l'autorité de taxation) a procédé à la taxation en suivant pour l'essentiel les indications figurant dans la déclaration d'impôt. A la suite de la réclamation de X._, l'autorité de taxation a rectifié la taxation par décision du 15 mai 2007 afin de tenir compte du nouveau statut de personne séparée et non plus mariée du contribuable. Pour 2005, le revenu net imposable était fixé à CHF 41'895.- pour les impôts cantonal et communal et CHF 41'425.- pour l'impôt fédéral direct. La fortune nette imposable se montait à CHF 20'494.-. A.c En 2007, le Service cantonal des contributions du canton du Valais (ci-après le Service cantonal) a procédé à un contrôle des comptes de B._ SA pour les exercices 2005 et 2006. Le recours formé par B._ SA contre la décision de la Commission cantonale de recours en matière fiscale du canton du Valais (ci-après la Commission de recours) a été rejeté par arrêt du Tribunal fédéral du 18 mai 2011 (cause 2C_788/2010). A l'occasion du contrôle des comptes de B._ SA, l'expert du Service cantonal a établi une note faisant ressortir les modalités de la sortie de X._ de la société. Cette note a été transmise à l'autorité de taxation pour les personnes physiques. B. Le 22 octobre 2007, le Service cantonal a ouvert une procédure de rappel d'impôt à l'encontre de X._ pour les années 2004 et 2005. Par décision du 8 septembre 2009, le Service cantonal a procédé au rappel d'impôt concernant l'année 2005 pour le revenu provenant du rachat de droits de licence par B._ SA, ainsi que pour les éléments de fortune relatifs à 77 actions de B._ SA et à un compte privé auprès de la banque C._ détenus par X._. S'agissant de l'impôt sur le revenu, cette décision opérait une reprise de CHF 2'425'406.- relative au montant versé par B._ SA au contribuable en 2005. En conséquence, le revenu net imposable était fixé à CHF 2'467'301.- en matière d'impôts cantonal et communal et à CHF 2'466'831.- en matière d'impôt fédéral direct. S'agissant de l'impôt sur la fortune en matière d'impôts cantonal et communal, la fortune nette imposable atteignait CHF 1'015'385.-, soit des actifs de CHF 3'767'085.-, y compris un compte privé auprès de la banque C._ non déclaré de CHF 342'701.- et les 77 actions de B._ SA d'une valeur de CHF 652'190.- également non déclarées, et des dettes, y compris la déduction forfaitaire, de CHF 2'751'700.-. Sur réclamation du contribuable, le Service cantonal a confirmé son premier prononcé par décision sur réclamation du 29 juin 2010. X._ a recouru contre la décision du 29 juin 2010 auprès de la Commission de recours. Il concluait principalement à l'annulation pure et simple du prononcé pour cause d'inexistence des conditions d'un rappel d'impôt. A titre subsidiaire, il prenait des conclusions tendant à réduire le montant imposable, en particulier par la prise en compte de diverses déductions. Par arrêt du 26 octobre 2011, notifié le 22 décembre 2011, la Commission de recours a partiellement admis le recours et fixé le revenu net imposable à CHF 924'895.- pour les impôts cantonal et communal et à CHF 924'425.- pour l'impôt fédéral direct, et la fortune nette imposable à CHF 217'365.-. Elle a considéré en substance que les conditions du rappel d'impôt étaient remplies en l'espèce, la déclaration déposée par X._ n'étant pas complète puisque, outre le compte privé auprès de la banque C._ que le contribuable avait omis de déclarer, elle n'indiquait pas en qualité de revenu le montant reçu de B._ SA, l'absence de prise en compte de ce revenu dans le cadre de la procédure de taxation étant imputable principalement à l'attitude du recourant et non à celle de l'autorité de taxation. En ce qui concerne le montant versé par B._ SA à X._, la Commission de recours a retenu qu'il s'agissait d'un revenu d'une activité lucrative accessoire exercée à titre indépendant, provenant de la vente de biens immatériels à caractère commercial et d'une indemnité relative à l'interdiction de faire concurrence, de sorte que l'ensemble du montant était imposable au titre de revenu, une provision de CHF 1'450'000.-, un montant de TVA de CHF 184'330.- et une provision pour charges sociales au taux de 9.5 %, soit CHF 92'405.-, pouvant toutefois être portés en déduction du gain en capital réalisé. Elle a enfin admis que les 77 actions de la société B._ SA faisaient également partie de la fortune commerciale et devaient par conséquent être prises en compte à leur valeur comptable. C. Par acte du 1er février 2012, X._ dépose un recours en matière de droit public au Tribunal fédéral contre l'arrêt de la Commission de recours du 26 octobre 2011. Il conclut, à titre principal, à ce qu'il soit constaté que les conditions du rappel d'impôt ne sont pas réunies, sauf pour le compte auprès de la banque C._ au montant de CHF 342'701.- et les actions de B._ SA de CHF 38'500.- à ajouter à sa fortune imposable, sous déduction des charges TVA et AVS. A titre subsidiaire, il conclut à ce qu'il soit dit que le gain réalisé sur la vente de droits immatériels soit exempté, le solde qui correspondait à une indemnité de non concurrence étant imposable à hauteur de CHF 350'376.-, le recourant pouvant faire valoir au surplus la déduction de l'AVS par CHF 45'548.80 et de la TVA par CHF 184'330.-. A titre encore plus subsidiaire, il requiert le renvoi de la cause à la Commission de recours pour la détermination de l'assiette du revenu de l'activité indépendante provenant de la cession des droits immatériels, le tout sous suite de frais et dépens. Le Service cantonal ainsi que l'Administration fédérale des contributions concluent au rejet du recours, sous suite de frais. La Commission de recours renvoie à l'argumentation développée dans l'arrêt attaqué et conclut également au rejet du recours, sous suite de frais. Le recourant a déposé une ultime détermination le 5 juin 2012. 