Faits: A. Le 31 octobre 2007, après avoir travaillé dans le secteur bancaire, A.X._ a repris une activité à titre indépendant en qualité de gestionnaire sous la raison de commerce "X._ Finance". Cette entreprise individuelle a pour but la gestion de fortune et de patrimoine, ainsi que les services dans le domaine de la finance et de l'immobilier. L'intéressé dispose avec son épouse, B.X._, de la signature individuelle. Le 15 février 2010, les époux X._ ont déposé leur déclaration d'impôt pour la période fiscale 2009, en indiquant un résultat d'exploitation de 71'178 fr. Le 24 mars 2010, les contribuables ont été invités à produire le bilan au 31 décembre 2009, le grand-livre 2009 ainsi que les relevés bancaires. Le 16 novembre 2010, à la demande de l'autorité fiscale, les contribuables ont transmis les avis de bourse des achats des actions C._ (dès 2006) et D._. Ils ont précisé que la vente de ces titres relevait de la gestion privée et non professionnelle. B. Par décision de taxation du 16 décembre 2010, le Service cantonal des contributions du canton de Fribourg (ci-après: le Service cantonal) a fixé l'impôt cantonal 2009 des époux X._ à 65'380 fr. 50 sur la base d'un revenu imposable de 484'380 fr. et l'impôt fédéral direct 2009 à 192'280 fr. sur la base d'un revenu imposable de 1'672'012 fr. Les montants pris en compte comme revenus imposables au plan cantonal et fédéral correspondaient au total des gains réalisés avec la vente des titres, soit un bénéfice net de 1'632'877 fr. 54 (1'814'308 fr. 38 de bénéfice réduit des 10% d'AVS), auxquels s'ajoutaient les 71'178 fr. de résultat d'exploitation déclaré ainsi qu'une reprise sur les frais de représentation de 1'800 fr. Par décision du 30 mars 2011, le Service cantonal a partiellement admis la réclamation des époux X._ contre la taxation précitée et a ramené le bénéfice obtenu par la vente des titres à 1'655'444 fr. 27 (au lieu de 1'814'308 fr. 38). Le revenu imposable pour l'impôt cantonal 2009 a été fixé à 1'698'579 fr. Il a en revanche maintenu sa position selon laquelle le gain réalisé par le commerce de titres était imposable au titre de revenu d'une activité lucrative indépendante. Les époux X._ ont recouru contre cette décision sur réclamation auprès de la Cour fiscale du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal) qui, par arrêt du 9 novembre 2012, a rejeté le recours. Le Tribunal cantonal a retenu, en substance, que les conditions pour considérer les gains réalisés par la vente des titres comme un revenu d'une activité lucrative indépendante étaient remplies, en particulier que les gains représentaient plus de 50 % du revenu net des époux X._, que les intéressés avaient procédé à de nombreuses opérations d'achats et de ventes, que la possession des titres avait été de courte durée, que le produit de vente des actions avait été réinvesti dans l'acquisition de nouveaux titres et que le retrait de fonds du 2e pilier avait permis de dégager les liquidités nécessaires aux investissements. C. Les époux X._ déposent un recours en matière de droit public au Tribunal fédéral à l'encontre de la décision du 9 novembre 2012. Ils concluent, sous suite de dépens, principalement, à l'annulation de cette décision et au renvoi du dossier au Tribunal cantonal pour qu'il soit procédé à l'audition personnelle des intéressés et, subsidiairement, à la réforme de l'arrêt attaqué en ce sens que les gains réalisés avec la vente des titres, à savoir 1'655'444 fr. 27, soit soustraits du revenu imposable 2009 et qu'une déduction soit admise pour les frais médicaux dépassant le 5% du revenu net. Le Tribunal cantonal a déposé des observations. Le Service cantonal a conclu au rejet du recours. L'Administration fédérale des contributions s'est ralliée au dispositif et aux considérants de la décision du 9 novembre 2012, proposant le rejet du recours. Les recourants ont déposé des observations complémentaires le 2 avril 2013. Par ordonnance du 25 janvier 2013, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la requête d'effet suspensif. 