Faits: A. A.X._ (ci-après: le contribuable ou le recourant) est membre de l'hoirie de B. et C.X._. Celle-ci détenait 100 actions de la société anonyme Immeuble D._ SA, sise à Sion, dont le capital-actions était de 200'000 fr. (200 actions d'une valeur nominale de 1'000 fr.). L'autre moitié du capital-actions était détenue par la société anonyme X._ SA, également sise à Sion. La société Immeuble D._ SA était propriétaire de la parcelle no *** de la commune de Sion. Par convention de vente d'actions du 22 juin 2004, l'hoirie B. et C.X._ a cédé à la société anonyme E._ SA, sise à Saxon, ses actions de la société Immeuble D._ SA au prix de 1'300'000 fr. (soit 13'000 fr. par action). Par convention de la même date, la société X._ SA a de son côté également cédé ses actions de la société précitée à E._ SA, au prix de 1'250'000 fr. (soit 12'500 fr. par action). S'agissant du paiement du prix de vente, les deux conventions prévoyaient l'inscription d'une cédule hypothécaire d'un montant de 2'600'000 fr. sur l'immeuble appartenant à la société Immeuble D._ SA, contre le versement par la banque F._ de 2'550'000 fr. Ce montant a été utilisé de la manière suivante: Remboursement du c/c débiteur C.X._ Remboursement du c/c débiteur C.X._ Fr. 352'560 Paiement du solde du prix de vente à l'hoirie Paiement du solde du prix de vente à l'hoirie Fr. 947'440 Paiement à X._ SA Paiement à X._ SA Fr. 1'250'000 A.X._ détenait 26 actions de la société Immeuble D._ SA. Le prix de vente des actions détenues par l'hoirie ayant été fixé à 13'000 fr. par action, la part de A.X._ se montait à 338'000 fr. Le 13 juin 2005, A.X._ a déposé sa déclaration d'impôt pour la période 2004. A titre de revenu de la fortune mobilière, il a indiqué un montant de 522 fr. Par décision de taxation du 31 août 2005, la Commission d'impôt de district pour la commune de Sion a estimé que la vente des actions de la société Immeuble D._ SA à E._ SA réalisait les conditions d'une liquidation partielle indirecte. Elle a ainsi soumis à l'impôt sur le revenu le bénéfice réalisé par le contribuable dans le cadre de cette vente, bénéfice qu'elle a arrêté à 312'000 fr. (soit 338'000 fr. ./. 26'000 fr. correspondant à la valeur nominale des actions cédées). En y ajoutant les 522 fr. indiqués par le contribuable, le revenu de la fortune mobilière se montait à 312'522 fr. Compte tenu des autres revenus et des déductions, le revenu net imposable du contribuable s'élevait à 398'901 fr. pour l'impôt cantonal et communal et à 397'161 fr. pour l'impôt fédéral direct. B. A l'encontre de ce prononcé, le contribuable a formé une réclamation, en concluant à ce que le bénéfice réalisé lors de la vente des actions soit soumis à l'impôt sur les gains immobiliers plutôt qu'à l'impôt sur le revenu. La réclamation a été rejetée par décision de la Commission d'impôt de district du 6 juillet 2006. Le recours interjeté par le contribuable contre cette décision a été rejeté le 24 mars 2010 par la Commission de recours en matière fiscale du canton du Valais (ci-après: la Commission de recours ou l'autorité précédente). C. Agissant par la voie du recours en matière de droit public, A.X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler la décision du 24 mars 2010 et de renvoyer le dossier à l'administration fiscale valaisanne pour nouvelle décision dans le sens des considérants. A titre principal, il soutient que la vente des actions de la société Immeuble D._ SA est, s'agissant d'une société immobilière, uniquement imposable au titre de l'impôt (cantonal et communal) sur les gains immobiliers. A titre subsidiaire, il prétend que les conditions légales et jurisprudentielles de la liquidation partielle indirecte ne sont en l'espèce pas réunies et, à supposer qu'elles le soient, il conteste l'assiette du revenu imposable à ce titre. L'autorité précédente renonce à se déterminer sur le recours. Le Service cantonal des contributions du canton du Valais ne s'est pas prononcé dans le délai imparti. L'Administration fédérale des contributions, Division principale de l'impôt fédéral direct, de l'impôt anticipé, des droits de timbre, propose d'admettre partiellement le recours et de renvoyer le dossier à l'autorité précédente pour complément d'instruction. 