Faits: A. A.X. et B.X._ travaillent tous deux pour la banque A._ SA (ci-après: la Banque). Conformément au règlement interne de la Banque, A.X._, en tant que directeur, a reçu en 2003 une indemnité forfaitaire mensuelle de 700 fr. destinée à couvrir ses frais de représentation, de prospection et d'entretien des relations avec les clients. Ce règlement qui fixe le montant des indemnités forfaitaires et les modalités de paiement a été approuvé par l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale des impôts) le 4 août 2000. B. Dans sa déclaration d'impôt 2003, A.X._ a, notamment, revendiqué la déduction des frais de déplacement pour un montant de 2'496 fr., des frais de repas à hauteur de 1'500 fr., des frais de formation d'un montant de 2'692 fr. et, sous la rubrique "autres frais professionnels", la déduction forfaitaire de 3'800 fr. Par décision de taxation du 10 novembre 2004, l'Office d'impôt de district de Morges (ci-après: l'Office d'impôt) a fixé le revenu imposable de la période fiscale 2003 pour l'impôt cantonal et communal à 333'573 fr. et pour l'impôt fédéral direct à 340'001 fr. L'Office d'impôt a refusé la déduction forfaitaire de 3'800 fr. pour autres frais professionnels au motif que l'indemnité forfaitaire versée par l'employeur, destinée à couvrir les frais de représentation, excluait les déductions pour dépenses professionnelles des salariés, sauf en ce qui concernait les frais de transport entre le domicile et le lieu de travail. A.X._ a élevé réclamation à l'encontre de cette décision. Le 4 juillet 2007, l'Office d'impôt a notifié aux intéressés une décision de taxation pour les impôts cantonaux et communaux, ainsi que pour l'impôt fédéral direct de la période fiscale 2004. La déduction pour autres frais professionnels y était également refusée, compte tenu du versement par l'employeur de A.X._ d'une indemnité forfaitaire pour frais de représentation. Celui-ci a formé une réclamation à l'encontre de cette décision de taxation. Il en est allé de même en ce qui concerne la décision de taxation du 17 juillet 2007 pour les impôts cantonaux et communaux ainsi que pour l'impôt fédéral direct de la période fiscale 2005 qui n'accordait pas non plus la déduction forfaitaire pour autres frais professionnels. C. Par décision sur réclamation du 26 septembre 2007, l'Administration cantonale des impôts a partiellement admis la réclamation des époux X._ relative à l'impôt cantonal, communal et l'impôt fédéral direct de la période fiscale 2003, et a arrêté le revenu imposable à, respectivement, 328'900 fr. et 333'500 fr. La fortune imposable était de 1'115'000 fr. Ladite Administration a toutefois refusé la réclamation en ce qui concerne la déduction de 3'800 fr. des autres frais professionnels. L'Administration cantonale des impôts a rejeté les réclamations concernant les impôts cantonal et communal ainsi que l'impôt fédéral direct des périodes fiscales 2004 et 2005 par décisions sur réclamation du 26 septembre 2006. D. Par arrêt du 2 avril 2008, le Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours de A.X._ et B.X._. Il a rappelé que l'indemnité forfaitaire que percevait l'intéressé était censée couvrir tous ses frais de représentation et les autres frais professionnels. Dès lors, il ne pouvait de surcroît réclamer la déduction forfaitaire pour les autres frais professionnels de 3'800 fr. En revanche, si lesdits frais n'étaient pas couverts par l'indemnité perçue de son employeur, A.X._ pouvait réclamer la déduction du montant effectif de ses dépenses. Dans cette hypothèse, il devait établir par pièces le montant de ses dépenses. Or, en l'espèce, le recourant n'avait produit aucun justificatif des frais encourus. E. Par un "recours" adressé au Tribunal fédéral, A.X._ et B.X._ lui demandent d'annuler l'arrêt du 2 avril 2008 du Tribunal cantonal, de rejeter les trois décisions sur réclamation du 26 septembre 2007 concernant les périodes fiscales 2003, 2004 et 2005 et d'ordonner la déduction pour chaque période d'un montant de 3'800 fr. à titre d'"autres frais professionnels" pour les impôts cantonal et communal et pour l'impôt fédéral direct ainsi que de leur restituer l'émolument de 1'500 fr. perçu par le Tribunal cantonal. L'Administration cantonale des impôts conclut au rejet du recours pour autant qu'il soit recevable. Le Tribunal cantonal se réfère aux considérants et dispositif de son arrêt du 2 avril 2008. L'Administration fédérale des contributions se rallie aux conclusions de l'Administration cantonale des impôts et aux considérants de l'arrêt du Tribunal cantonal. 