Faits: Faits: A.a Les époux B.X._ et A.X._ sont domiciliés à C._. B.X._ exerce la profession d'architecte. B.X._ a travaillé pour le compte de la société anonyme D._ SA, sise à E._, inscrite au registre du commerce le *** 1986, qu'il avait fondée avec deux associés. La faillite de cette société a été prononcée le *** 1994. Par la suite, B.X._ est devenu le gérant de la société à responsabilité limitée F._ Sàrl. Sise à C._ et inscrite au registre du commerce le *** 1993, cette société a pour but "tous travaux d'architecture". Par la suite, B.X._ est devenu le gérant de la société à responsabilité limitée F._ Sàrl. Sise à C._ et inscrite au registre du commerce le *** 1993, cette société a pour but "tous travaux d'architecture". A.b Parallèlement à son activité d'architecte, B.X._ a pratiqué le commerce professionnel d'immeubles. Sa faillite personnelle a été prononcée le *** 1994. La vente du dernier immeuble réalisée dans le cadre de la liquidation de la faillite s'est soldée, en 2001, par une perte commerciale de 778'187 fr. 05 venue s'ajouter aux pertes des exercices antérieurs selon le détail suivant: Exercices Vaud Fribourg Tessin Total 93/94 -36'717 -58'245 -57'953 -152'915 -330'857 -204'582 -1'884 -537'323 95 -16'666 0 -1'230'643 -1'247'309 96 -483'384 -1'012'616 -228'997 -1'724'997 97 -1'362'033 -248'099 -1'610'132 98 99 2000 2001 -778'187 -778'187 Total -2'229'657 -1'523'542 -2'297'664 -6'050'863 Le 23 décembre 2002, l'administration spéciale de la faillite de B.X._ a délivré à la banque créancière des actes de défaut de biens pour un montant total de 6'353'551 fr. 70. Jusqu'à la période fiscale 2003 inclusivement, les époux X._ ont obtenu la compensation des pertes commerciales avec leurs revenus imposables. L'avis de taxation de la période fiscale 2003 indiquait toutefois qu'aucune perte ne pourrait être reportée en diminution du revenu de la période fiscale 2004. Dans leur déclaration d'impôt pour la période 2004, les époux X._ ont indiqué une perte commerciale de 2'695'747 fr. sous la rubrique "revenu d'une activité indépendante". B. Dans sa taxation du 17 novembre 2005, le Service cantonal des contributions du canton de Fribourg a refusé de porter en déduction la perte commerciale. L'impôt fédéral direct dû par les époux X._ a été fixé à 5'373 fr. sur la base d'un revenu imposable de 132'327 fr., leur impôt cantonal sur le revenu à 13'648 fr. 10 pour un revenu imposable global de 133'947 fr. et leur impôt cantonal sur la fortune à 1'063 fr. 15, pour une fortune imposable de 405'460 fr. Les époux X._ ont contesté cette taxation, en concluant à ce que la perte commerciale soit admise en déduction et leur revenu imposable fixé à 0 fr. Leur réclamation a été rejetée par décision du 17 avril 2007. Saisi d'un recours contre cette décision, le Tribunal cantonal fribourgeois l'a rejeté par arrêt du 12 décembre 2008. Cette autorité a constaté que le recourant n'était plus commerçant d'immeubles depuis la clôture de sa faillite personnelle en 2000 ou au plus tard depuis la vente forcée de son dernier immeuble en 2001. Laissée ouverte par la jurisprudence, la question de savoir si le report de pertes demeurait possible, lorsque toute activité indépendante avait cessé, était controversée en doctrine. Les juges cantonaux ont estimé qu'un tel report n'était pas admissible. Etablissant une exception au principe de périodicité, la règle du report de pertes devait être interprétée de manière restrictive. Etendre sa portée à des situations où le contribuable avait cessé toute activité indépendante reviendrait à appliquer le principe du "Totalgewinn" à une autre catégorie de sujets fiscaux que les entreprises, alors que ce principe ne saurait par définition s'appliquer qu'aux entreprises. En outre, dans le cas particulier, il serait choquant que les recourants puissent totalement supprimer leur charge fiscale par le jeu du report de pertes, alors qu'au terme de la procédure de faillite le recourant laissait un découvert de plusieurs millions de francs. Les juges ont adopté ce raisonnement tant pour l'impôt fédéral direct que pour l'impôt cantonal. C. Agissant par la voie du recours en matière de droit public, les époux X._ demandent au Tribunal fédéral, sous suite de frais et dépens, d'annuler le jugement du 12 décembre 2008 et, principalement, de fixer à 0 fr. le revenu imposable de la période fiscale 2004 tant pour l'impôt fédéral direct que pour l'impôt cantonal, les pertes commerciales des exercices 1997 à 2003 étant admises en déduction; à titre subsidiaire, ils concluent à ce que le dossier soit renvoyé à l'autorité précédente pour nouvelle décision dans le sens des considérants. L'autorité précédente, le Service cantonal des contributions et l'Administration fédérale des contributions, Division principale de l'impôt fédéral direct, de l'impôt anticipé, des droits de timbre, proposent de rejeter le recours dans la mesure de sa recevabilité. Le 27 novembre 2009, la Cour de céans a délibéré sur le présent recours en séance publique. 