Faits: A. Depuis 1998, X._ exploite une entreprise spécialisée dans les installations techniques, entretien, dépannage en matière de téléréseaux, sous la raison individuelle Y._, dont le siège est à Z._ depuis octobre 2005, commune où l'intéressé était lui-même domicilié jusqu'au 21 décembre 2009, avant d'aller s'installer en France. Entre 1998 et 2004, X._ a acquis, principalement de son père actif dans la même branche professionnelle, les participations suivantes : - 60 actions, d'une valeur nominale de 500 fr. (30%), pour le prix de 120'000 fr., de la société A._ SA, - 40 actions, d'une valeur nominale de 1'000 fr. (40 %), pour le prix de 62'000 fr., de la société B._ SA, et - 25 actions, d'une valeur nominale de 1'000 fr. (15,15 %), pour le prix de 50'000 fr., de la société C._ SA. Ces sociétés sont aujourd'hui radiées du registre du commerce. Par la suite, X._ a également exercé des mandats d'administrateur au sein des société A._ SA (du 17 février 2005 au 19 février 2009) et B._ SA (du 2 mai 2002 au 30 avril 2009). En 2009, il a vendu ses actions de la société A._ SA à la société D._ SA, ainsi que ses actions des sociétés B._ SA et C._ SA à la société E._ AG. Le montant global obtenu pour ces transactions s'est élevé à 1'769'578 fr. B. Par taxation du 29 mars 2010, le Service cantonal des contributions du canton de Fribourg a corrigé le bénéfice d'exploitation de 26'810 fr. déclaré par X._ en le portant à 697'099 fr. Il a considéré que la vente des 125 actions précitées entrait dans la fortune commerciale du contribuable et était imposable à ce titre. Pour la période fiscale 2009, l'impôt fédéral direct s'élevait ainsi à 78'435 fr. 50 et l'impôt cantonal sur le revenu et la fortune était fixé à 88'831 fr. 40. Le Service cantonal des contributions a rejeté la réclamation formée par X._, par décision du 20 mai 2010. X._ a recouru contre ce prononcé auprès de la Cour fiscale du Tribunal cantonal du canton de Fribourg, en invoquant notamment le fait qu'il avait acquis les actions vendues dans le but d'investir sa fortune privée dans des sociétés qu'il connaissait, mais non pour améliorer le résultat commercial de sa propre raison individuelle. Par arrêt du 9 décembre 2011, le Tribunal cantonal a admis partiellement le recours déposé par X._, tant pour l'impôt fédéral direct que pour l'impôt cantonal, implicitement pour l'impôt communal, en ce sens qu'il a pris acte de la proposition du Service cantonal des contributions de tenir compte du prix d'acquisition des actions (232'000 fr. en lieu et place de la valeur nominale de 95'000 fr.) pour calculer les impôts litigieux. Il a rejeté le recours pour le surplus, en relevant que les 125 actions avaient été attribuées à juste titre à la fortune commerciale en raison des liens très forts entre les activités commerciales des trois sociétés et la raison individuelle du recourant, de sorte que les participations acquises avaient manifestement donné des impulsions fructueuses à la raison individuelle. Ceci était d'autant plus vrai que les actions avaient été en grande partie achetées auprès du père du recourant, lui-même déjà actif dans le domaine. Rien ne laissait d'ailleurs supposer que les actions n'appartenaient pas déjà à la fortune commerciale du père. Au vu des éléments déterminants figurant au dossier, les Juges cantonaux ont aussi estimé qu'il n'était pas utile de procéder à l'instruction requise par le recourant pour établir la proportion exacte du chiffre d'affaires réalisé grâce à ces participations dans les trois sociétés concernées. C. Agissant dans un seul et même acte par la voie du recours en matière de droit public, X._ conclut, sous suite de frais et dépens, à l'annulation de l'arrêt du Tribunal cantonal du 9 décembre 2011 et de la décision sur réclamation rendue par le Service cantonal des contributions le 20 mai 2010, tant en ce qui concerne l'impôt fédéral direct que s'agissant de l'impôt cantonal. Il demande aussi au Tribunal fédéral de renvoyer le dossier au Service cantonal des contributions pour qu'il lui notifie une nouvelle décision de taxation ordinaire, principalement en tenant compte du fait que les participations vendues en 2009 faisaient partie de sa fortune privée et non commerciale et, à titre subsidiaire, pour nouvelle instruction. Le Tribunal cantonal conclut au rejet des recours, sous suite de frais, en se référant aux faits et considérants de son arrêt. Le Service cantonal des contributions propose de rejeter les recours, sous suite de frais. De son côté, l'Administration fédérale des contributions conclut au rejet du recours en ce qui concerne l'impôt fédéral direct, sous suite de frais. 