Faits: A. Par décisions de taxation du 26 janvier 2004 pour les impôts cantonal et communal de la période fiscale 2002, l'Administration fiscale cantonale du canton de Genève (ci-après: l'Administration fiscale) a imposé A.X._ et B.X._ sur un gain en capital obtenu dans le jeu Pari mutuel romand de 19'708 fr. 50. Elle a admis en déduction de ce gain les mises gagnantes pour un montant de 288 fr. et refusé de déduire les mises perdantes qui s'élevaient selon les époux X._ à 19'412 fr. Le 15 février 2004, A.X._ et B.X._ ont déposé une réclamation contre ces décisions. Ils demandaient la déduction des mises perdantes, comme cela avait toujours été admis jusqu'alors. La réclamation portant sur l'impôt cantonal et communal de la période fiscale 2002 a été rejetée par décision du 24 janvier 2005. Les intéressés ont interjeté recours contre cette dernière décision auprès de la Commission cantonale de recours en matière d'impôts (ci-après: la Commission cantonale de recours). Par décisions de taxation du 21 février 2005 pour l'impôt fédéral ainsi que pour les impôts cantonal et communal de la période fiscale 2003, l'Administration fiscale a imposé A.X._ et B.X._ sur un gain en capital obtenu dans le jeu Pari mutuel romand de 27'874 fr. Elle a admis en déduction de ce gain les mises gagnantes pour un montant de 639 fr. et refusé de déduire les mises perdantes qui s'élevaient à 22'471 fr. Le 4 mars 2005, A.X._ et B.X._ ont déposé une réclamation portant sur l'impôt cantonal et communal de la période fiscale 2003 contre ces décisions, demandant une nouvelle fois la déduction des mises perdantes. La réclamation a été rejetée par décision du 24 mars 2005. Les intéressés ont interjeté recours contre cette dernière décision auprès de la Commission cantonale de recours. Par décision du 26 février 2007, après avoir joint les causes, la Commission cantonale de recours a admis les recours en matière d'impôts cantonal et communal. Contre cette décision, l'Administration fiscale a déposé un recours auprès du Tribunal administratif du canton de Genève (ci-après: le Tribunal administratif). B. Par arrêt du 26 février 2008, le Tribunal administratif a admis le recours, annulé la décision rendue le 26 février 2007 par la Commission cantonale de recours et confirmé les décisions sur réclamation rendues les 24 janvier et 24 mars 2005 par l'Administration fiscale. Les gains en capital obtenus en jouant au Pari mutuel romand étaient imposables et, à ce titre, ajoutés au revenu imposable ordinaire. Les mises gagnantes étaient déductibles, puisqu'elles étaient des dépenses nécessaires à l'acquisition du revenu. Les mises perdantes ne l'étaient en revanche pas. Il manquait un lien de connexité immédiat et direct entre la dépense et le gain. Le rôle des facteurs aléatoires intervenant dans l'obtention et l'importance du gain recherché rompait le lien d'immédiateté. Aucune déduction ne pouvait en outre être admise en l'absence de tout gain. En sus, la nature au porteur des billets délivrés par le Pari mutuel romand rendait difficile la preuve de la dépense, qui incombait au contribuable. En l'espèce, la déduction des mises perdantes devait être refusée, ce qui, par ailleurs, correspondait aux objectifs de protection des joueurs contre les dangers des jeux voulus par le législateur fédéral. Enfin, les conditions d'un changement de pratique étaient réunies. C. Agissant par la voie du recours en matière de droit public, A.X._ et B.X._ demandent au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt rendu le 26 février 2008 par le Tribunal administratif et d'admettre la déduction des mises perdantes d'un montant de 19'412 fr. du revenu imposable pour 2002 et de 22'471 fr. pour 2003. Ils se plaignent de la constatation inexacte des faits pertinents et de la violation du droit fédéral. Le Tribunal administratif renonce à déposer des observations. L'Administration fiscale cantonale ainsi que l'Administration fédérale des contributions concluent au rejet du recours. 