Faits: A. A.a Inscrite au registre du commerce le *** 1986, la société anonyme A._ SA, sise à B._, avait pour but la recherche, le développement, la fourniture de services et le commerce de matériels dans le domaine de la reproduction graphique et de l'informatique ainsi que l'exploitation de magasins à l'enseigne C._ et A._. Jusqu'au prononcé de sa faillite, le *** 1997, cette société a été dirigée par X._, président du conseil d'administration, et D._, directeur. Y._, E._ et F._ en ont été les administrateurs. Inscrite au registre du commerce le *** 1995, la société anonyme C._ SA, sise à B._, avait pour but toutes les activités de commerce, de distribution et de revente de matériels et services micro-informatiques, ainsi que l'exploitation d'une chaîne de magasins offrant ces biens et services. Jusqu'à l'ouverture de sa faillite, le *** 1997, cette société a été dirigée par X._, président du conseil d'administration, et D._, directeur. E._ et F._ en ont été les administrateurs. Le 3 octobre 1997, la société G._ AG a produit dans la faillite de A._ SA une créance de 4'626'549 fr. 30. Le 8 mai 1998, les masses en faillite de A._ SA et C._ SA, ainsi que le préposé de l'Office des poursuites et faillites de l'arrondissement de Vevey ont déposé plainte contre les responsables de ces sociétés pour gestion déloyale, banqueroute simple et banqueroute frauduleuse. Par décision du 18 juin 2002, l'administration de la faillite de A._ SA a cédé les prétentions en responsabilité de la masse à divers créanciers, dont G._ AG. Le 24 décembre 2002, G._ AG a intenté par devant la Cour civile du Tribunal cantonal vaudois une action en responsabilité contre X._ et D._, E._ et F._, tendant notamment à ce que ceux-ci soient reconnus débiteurs, solidairement entre eux, de la somme de 4'626'549 fr. 30. Le 30 septembre 2003, G._ AG, d'une part, ainsi que E._, F._, X._ et D._, d'autre part, ont conclu une transaction par laquelle les anciens dirigeants de A._ SA se reconnaissaient débiteurs à l'égard de G._ AG d'une somme de 500'000 fr. pour solde de tout compte. De son côté, la société précitée s'est engagée à retirer sa constitution de partie civile dans la procédure pénale engagée sur plainte du 8 mai 1998 à l'encontre des responsables des sociétés A._ SA et C._ SA. Le 28 mars 2008, le juge d'instruction du canton de Vaud a rendu une ordonnance de non-lieu en faveur de X._. Il ressortait notamment de cette décision que, sur la base de l'enquête menée par la police de sûreté, l'infraction d'avantages accordés à certains créanciers (art. 167 CP) "apparaissait réalisée"; la prescription étant acquise, un non-lieu devait être prononcé sur ce point aussi. A.b La Caisse cantonale vaudoise de compensation (ci-après: la Caisse de compensation) a produit dans la faillite de A._ SA une créance de cotisations, d'intérêts moratoires, de frais de poursuite et de sommation d'un montant total de 312'243 fr. 85. Par décision du 22 avril 1998, la Caisse de compensation a informé X._, D._, Y._, E._ et F._ qu'elle les tenait pour responsables du préjudice subi dans la faillite de A._ SA, dont elle demandait réparation à concurrence de 229'219 fr. 40. Les cinq administrateurs ayant fait opposition, la Caisse de compensation a porté le cas devant le Tribunal des assurances du canton de Vaud (devenu entre-temps la Cour des assurances sociales du Tribunal cantonal). En cours de procédure, la Caisse de compensation a réduit ses conclusions à l'encontre de Y._ à 165'260 fr. 40. Par jugement du 4 mai 2001, le Tribunal cantonal des assurances a partiellement admis les conclusions de la Caisse de compensation et reconnu les défendeurs X._, D._, E._, F._ et Y._ codébiteurs solidaires de la somme de 165'260 fr. 40, les quatre premiers nommés étant au surplus codébiteurs solidaires de la somme de 133'959 fr. Par arrêt du 29 août 2002, le Tribunal fédéral des assurances a partiellement admis le recours déposé par X._, D._, E._, F._ et Y._ et reconnu les quatre premiers nommés codébiteurs solidaires de la somme de 115'630 fr. 25 (cause H 277/01). Pour le surplus, le Tribunal fédéral des assurances a rejeté le recours. Il a en particulier retenu que les recourants avaient commis une négligence grave au sens de l'art. 52 de la loi fédérale du 20 décembre 1946 sur l'assurance-vieillesse et survivants (LAVS; RS 831.10). B. Le 25 novembre 2004, X._ et Y._, alors domiciliés à H._, ont déclaré, pour la période fiscale 2003, un revenu imposable de 260'100 fr., qui s'obtenait après déduction des montants suivants: Arriérés de cotisations AVS concernant un litige avec la Caisse cantonale de compensation 98'000 fr. Frais résultant d'une transaction relative au retrait d'une plainte pénale par la société G._ AG 250'000 fr. Honoraires d'avocat relatifs à l'affaire litigieuse avec la société G._ AG 40'000 fr. Déduction forfaitaire de 3% 3'800 fr. Total 391'800 fr. Par décision du 12 février 2007, l'Office d'impôt de Vevey a fixé le revenu des époux X._ imposable par le canton et la commune à 649'500 fr., ainsi que le revenu imposable par la Confédération à 652'400 fr. Il a repris les montants mentionnés ci-dessus, dont il a refusé la déduction. Les époux X._ ont formé une réclamation à l'encontre de ce prononcé, sauf en ce qui concerne la déduction forfaitaire de 3'800 fr. Par décision du 13 août 2008, l'Administration cantonale des impôts a rejeté ladite réclamation. Saisi d'un recours contre cette décision, le Tribunal cantonal vaudois l'a rejeté par arrêt du 9 novembre 2009. Selon cette autorité, il appartient au contribuable de démontrer le lien entre l'activité exercée et le paiement de dommages-intérêts. Lorsque ce lien est établi, il revient à l'autorité fiscale de prouver ou du moins de rendre vraisemblable que la faute ou la négligence à l'origine de la responsabilité encourue est grave au point d'exclure la déduction. Or, en l'occurrence, les recourants n'avaient pas donné suite aux réquisitions des autorités fiscales tendant à la production de pièces, en empêchant celles-ci d'apporter la preuve leur incombant. Ils ne pouvaient dès lors invoquer le fardeau de la preuve afin de bénéficier de la déduction litigieuse. Au demeurant, il ressortait du dossier que X._ avait été reconnu coupable d'infraction à l'art. 167 CP (avantages accordés à certains créanciers). L'existence de cette faute intentionnelle qui devait être qualifiée de grave conduisait à refuser la déduction en cause, même si la procédure civile engagée contre le recourant s'était achevée par une transaction. Dans ces conditions, le montant de 250'000 fr. ne pouvait être déduit fiscalement, ni les honoraires d'avocat de 40'000 fr., qui devaient suivre le même sort. Les juges cantonaux ont en outre confirmé que les arriérés de cotisations AVS n'étaient pas non plus déductibles. C. Agissant par la voie du recours en matière de droit public, les époux X._ demandent au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal cantonal du 9 novembre 2009 et de renvoyer la cause à cette autorité, afin que, principalement, elle rende une nouvelle décision dans le sens des considérants et, subsidiairement, qu'elle complète l'instruction avant de statuer à nouveau; à titre plus subsidiaire, ils concluent à ce que l'arrêt en question soit réformé en ce sens que, d'une part, un montant total de 290'000 fr., subsidiairement de 284'900 fr., soit admis en déduction aussi bien pour l'impôt cantonal et communal que pour l'impôt fédéral direct et, d'autre part, qu'aucuns frais ne soient mis à leur charge et que l'Administration cantonale des impôts soit condamnée à leur verser des dépens "fixés à dire de justice, mais en tout cas pas inférieurs à 5'000 fr.". Le montant de 290'000 fr. représente la somme des dommages-intérêts (250'000 fr.) et des honoraires d'avocat (40'000 fr.), le recours ne portant pas sur la déduction des arriérés de cotisations AVS. L'autorité précédente, l'Administration cantonale des impôts ainsi que l'Administration fédérale des contributions concluent au rejet du recours. 