Faits: A. En 1983, X._, domicilié à A._, a constitué avec d'autres partenaires la société en nom collectif "B._", dont le siège social est à A._ (ci-après: la SNC), société ayant pour but la promotion, la construction et l'exploitation de l'ensemble du complexe de B._. La société a réalisé ce complexe comprenant un hôtel, des appartements et des bains thermaux, et l'a dans un premier temps exploité elle-même. En 1994, suite notamment au décès de l'un des partenaires et dans le but de clarifier les engagements bancaires, les associés ont envisagé de restructurer la SNC et de procéder à une scission des activités de cette dernière. Plus exactement, il était envisagé le transfert à une société anonyme à créer, des actifs et des passifs concernant les bains thermaux ainsi que le transfert de l'exploitation de ces bains à dite société, la SNC conservant l'activité hôtelière et immobilière. Dans le cadre de ce projet, la SNC, par son mandataire la Fiduciaire C._ SA à D._, a pris contact avec le Service cantonal des contributions (ci-après: le Service cantonal) pour discuter des aspects fiscaux de cette restructuration. Par lettre du 19 décembre 1994, la Commission d'impôt du district de A._ a confirmé à la SNC sa position en ce qui concernait le traitement fiscal du projet. Par acte du 22 mars 1996, la SNC et ses divers associés ont constitué une nouvelle société anonyme sous la raison sociale "B._ SA" (ci-après: la SA) de siège social à A._, société ayant pour but la promotion, la construction, l'exploitation de l'ensemble du complexe de B._, la mise en valeur des terrains de la société pour la création de logements et d'hôtels, etc. Le capital-action de la nouvelle société anonyme s'élevait à Fr. 2'500'000.-. Il était libéré intégralement par un apport en nature des actifs et passifs se rapportant aux bains thermaux ainsi que par un versement en espèce de Fr. 1'000'000.-. Les actions étaient souscrites pour la quasi-totalité par la SNC, les associés de celle-ci n'en souscrivant qu'une seule chacun. Elles ont par la suite été cédées aux divers associés de celle-ci, X._ détenant depuis cette cession une participation de 25%. Suite à cette restructuration, la SNC avait convenu avec la SA le versement en faveur de cette dernière d'une contribution par m2 de plancher vendu sur les promotions effectuées, ceci en raison de l'attrait présenté par la proximité des bains thermaux. Par convention des 2 et 3 décembre 2004, avec entrée en vigueur au plus tard le 31 janvier 2005, X._ a cédé cette participation de 25% à ses partenaires pour le prix de Fr. 4'000'000.-. Par deuxième convention des mêmes jours, il a également cédé à ses partenaires sa participation à la SNC pour un montant de Fr. 2'200'000.-, auquel s'ajoutait un montant supplémentaire de Fr. 62'750.- comprenant les honoraires d'administration 2004 ainsi que la participation à des ventes conclues en 2004 mais non encore inscrites au Registre foncier. B. Dans la première partie de l'année 2008, le Service cantonal a fait procéder à un contrôle des comptes de X._ pour les années 2004 à 2006. Le rapport de contrôle proposait notamment d'opérer les reprises suivantes: Sur l'exercice 2004, reprise de Fr. 106'270.- concernant la part de X._ aux résultats de la SNC; Sur l'exercice 2005, reprise de Fr. 3'020'553.- sur le bénéfice de sortie de la SNC et le bénéfice de vente des actions de la SA, étant relevé notamment que le recourant n'avait pas comptabilisé le bénéfice provenant de la vente des actions de la SA, bénéfice s'élevant à Fr. 3'375'000.- avant déduction des cotisations sociales. Par décisions des 3, 8 et 9 juillet 2008, la Commission d'impôt de district a suivi les propositions de l'expert. Pour la période 2004, le revenu net imposable était fixé, compte tenu des autres revenus et des déductions ordinaires, à Fr. 387'459.- en matière d'impôts cantonal et communal, et à Fr. 4'679'177.- en matière d'impôt fédéral direct. De plus, les bénéfices de sortie de la SNC et de la vente des actions de la SA, arrêtés à un montant total de Fr. 4'437'900.-, étaient soumis à une imposition annuelle séparée en matière d'impôts cantonal et communal, au sens de l'art. 63 de la loi fiscale cantonale du 10 mars 1976 (LF; RS/VS 642.1). Sur réclamation de X._ du 31 juillet 2008, la Commission d'impôt de district modifia la taxation pour l'année 2005 en matière d'impôts cantonal et communal, en intégrant à la taxation ordinaire le bénéfice de la vente des actions de la SA. Le revenu net imposable en matière d'impôts cantonal et communal pour l'année 2005 était ainsi fixé à Fr. 4'686'876.- par nouveau bordereau du 14 avril 2009 confirmé par décision sur réclamation du 27 avril 2009. Le 27 mai 2009, X._ a interjeté recours auprès de la Commission cantonale de recours en matière fiscale (ci-après: la Commission cantonale), concluant à l'annulation de la reprise de Fr. 106'270.- effectuée sur l'année 2004, à l'exonération de tout impôt sur le bénéfice provenant de la vente des actions de la SA, et à l'application de l'art. 63 al. 3 LF en ce qui concerne l'imposition du bénéfice de sortie de la SNC en matière d'impôts cantonal et communal pour 2005. Par décision du 20 avril 2011, notifiée le 9 novembre 2011, la Commission cantonale a partiellement admis le recours. Elle a fixé le revenu net imposable pour l'année 2004 à Fr. 273'402.- en matière d'impôt fédéral direct et à Fr. 281'189.- en matière d'impôts cantonal et communal. Pour l'année 2005, elle a fixé le revenu net imposable à Fr. 4'752'483.- en matière d'impôt fédéral direct et à Fr. 4'760'182.- en matière d'impôts cantonal et communal. C. Par acte du 9 décembre 2011, X._ a formé recours devant le Tribunal fédéral, concluant principalement à l'annulation de la décision du 20 avril 2011. Le recourant conteste l'attribution à la fortune commerciale de ses parts dans la société B._ SA. Il soutient que les actions de la SA appartiennent à sa fortune privée, et que par conséquent, le gain réalisé par leur aliénation est exonéré d'impôt. A l'appui de son recours, il invoque les garanties constitutionnelles de protection de la bonne foi et du droit d'être entendu. Il se plaint également de l'application arbitraire du droit cantonal. Invités à se prononcer sur le recours, la Commission cantonale a produit des observations en date du 1er février 2012, tandis que le Service cantonal des contributions a renoncé à répondre. L'administration fédérale des contributions a conclu au rejet du recours. 