Faits: A. Le 15 mars 2004, les époux X._ et Y._ ont déposé leur déclaration d'impôt pour la période fiscale 2003, en indiquant un revenu nul et une fortune imposable de 2'982'888 fr. A la demande de l'autorité fiscale, les contribuables ont précisé que leurs ressources provenaient de la vente d'affiches anciennes faisant partie de la collection personnelle de l'époux, que les ventes réalisées à ce titre pour l'année 2003 s'étaient montées à 300'000 USD, et qu'au 31 décembre 2003, la collection en question, forte d'environ 15'550 pièces, était estimée à une valeur de plus de 3'000'000 fr. Par la suite, les contribuables ont été invités à fournir des informations complémentaires et à produire des pièces concernant les dépenses et les transactions (achats et ventes) effectuées en lien avec les affiches durant l'année 2003 et antérieurement. Ils ont également été entendus à deux reprises (les 11 mai 2005 et 11 mai 2006) par l'autorité fiscale, qui estimait que la collection litigieuse relevait de leur fortune commerciale et que les bénéfices en capital réalisés sur les ventes d'affiches étaient imposables au titre du revenu d'une activité lucrative indépendante. Par décision de taxation définitive du 8 mars 2007, l'Administration cantonale des impôts du canton de Vaud, par l'Office d'impôt de Vevey (ci-après: l'Administration cantonale), a calculé l'impôt cantonal et communal 2003 des époux X.-Y._ sur la base d'un revenu imposable de 323'200 fr. et d'une fortune imposable de 2'987'000 fr., et l'impôt fédéral direct 2003 sur la base d'un revenu imposable de 321'300 fr. Les montants pris en compte comme revenus imposables aux plans communal, cantonal et fédéral correspondent au total des ventes d'affiches de l'année 2003 converties en francs suisses (soit 378'900 fr.), sous déduction des frais d'acquisition du revenu forfaitairement fixés à 10 % des ventes (soit 37'890 fr.) et des autres déductions cantonales et/ou fédérales admises sur le revenu. Les époux X.-Y._ ont formé opposition contre la décision précitée de taxation, en faisant valoir que le produit des affiches vendues en 2003 résultait d'une décapitalisation de leur fortune privée assimilable à un gain en capital privé non imposable au titre du revenu. L'époux soulignait que sa collection avait toujours été admise par le fisc comme relevant de sa fortune privée, qu'il ne tenait pas de comptabilité et qu'il ne disposait d'aucune organisation administrative. Les contribuables ont à nouveau été entendus par l'autorité fiscale les 25 mai et 15 novembre 2007 en présence de leur avocat. Lors de cette dernière rencontre, ils ont refusé une proposition de règlement prévoyant que le produit des ventes de l'année 2003 serait certes imposé sur leur revenu, mais moyennant une déduction forfaitaire de 30 %, au lieu de 10 %, au titre des frais d'acquisition dudit revenu. Par décision du 8 février 2008, l'Administration cantonale a rejeté la réclamation dont elle était saisie et confirmé le caractère commercial, et donc imposables au titre du revenu, des ventes d'affiches réalisées en 2003. B. Les époux X.-Y._ ont recouru contre cette décision sur réclamation, dont ils ont requis l'annulation, en demandant qu'un revenu nul soit pris en considération pour calculer l'impôt communal, cantonal et fédéral relatif à la période fiscale 2003. X._ a été entendu par la Cour cantonale le 16 septembre 2008. A cette occasion, il a confirmé ses précédentes déclarations, en précisant qu'il avait progressivement cessé son activité d'architecte urbaniste dans le courant des années quatre-vingt et que la vente de ses affiches avait depuis lors peu à peu constitué son unique source de revenus. Par arrêt du 10 novembre 2008, la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: le Tribunal cantonal) a rejeté le recours et a confirmé la décision sur réclamation attaquée. C. Les époux X.-Y._ forment un recours en matière de droit public contre l'arrêt précité dont ils requièrent l'annulation. Ils concluent, sous suite de frais et dépens, à ce qu'il soit constaté que "le gain réalisé sur la vente des affiches n'est pas soumis à l'impôt sur le revenu au niveau fédéral, cantonal et communal", et demandent le renvoi du dossier à l'Administration cantonale pour qu'elle rende une nouvelle décision dans le sens des considérants. Pour l'essentiel, ils soutiennent que les critères jurisprudentiels permettant d'assimiler la constitution et la tenue d'une collection à l'exercice d'une activité lucrative indépendante ne sont pas réunis. L'Administration cantonale et l'Administration fédérale des contributions concluent au rejet du recours. Le Tribunal cantonal ne s'est pas déterminé. 