Faits : A. A.X._ et B.X._ (ci-après: les contribuables) sont mariés. Ils sont de nationalité néerlandaise et ont trois enfants mineurs. Ils sont propriétaires de leur logement, une villa sise à A._ en France. Ils exercent tous deux une activité lucrative dépendante dans le canton de Genève et y sont contribuables en qualité de quasi-résidents depuis la période fiscale 2004. Dans chacune de leurs déclarations d'impôt pour les périodes fiscales 2004 à 2008, en relation avec leur immeuble en France, les contribuables ont indiqué pour les impôts cantonaux et communaux et l'impôt fédéral direct - pour l'année fiscale 2004, un revenu brut immobilier de 16'036 fr. pour l'impôt cantonal et communal et 17'431 fr. pour l'impôt fédéral direct, contrebalancé par des charges et frais d'entretien de 1'123 fr. pour l'impôt cantonal et communal et 1'743 fr. pour l'impôt fédéral direct, leurs intérêts hypothécaires s'élevant à 63'927 fr. L'immeuble avait une valeur de 1'564'147 fr. et la dette hypothécaire totalisait 1'344'844 fr.; - pour l'année fiscale 2005, ils ont déclaré un revenu brut immobilier de 15'654 fr. pour l'impôt cantonal et communal et 17'789 fr. pour l'impôt fédéral direct, contrebalancé des charges et frais d'entretien de 1'096 fr. pour l'impôt cantonal et communal et 1'779 fr. pour l'impôt fédéral direct, leurs intérêts hypothécaires s'élevant à 64'110 fr. L'immeuble avait une valeur de 1'496'141 fr. et la dette hypothécaire totalisait 1'494'107 fr.; - pour l'année fiscale 2006, ils ont déclaré un revenu brut immobilier de 13'197 fr. pour l'impôt cantonal et communal et 15'710 fr. pour l'impôt fédéral direct, contrebalancé par des charges et frais d'entretien de 924 fr. pour l'impôt cantonal et communal et 1'571 fr. pour l'impôt fédéral direct, leurs intérêts hypothécaires s'élevant à 78'691 fr. L'immeuble avait une valeur de 1'428'134 fr. et la dette hypothécaire totalisait 1'502'590 fr.; - pour l'année fiscale 2007, ils ont déclaré un revenu brut immobilier de 12'337 fr. pour l'impôt cantonal et communal et 15'421 fr. pour l'impôt fédéral direct, contrebalancé par des charges et frais d'entretien de 864 fr. pour l'impôt cantonal et communal et 1'542 fr. pour l'impôt fédéral direct, leurs intérêts hypothécaires s'élevant à 54'355 fr. L'immeuble avait une valeur de 1'360'128 fr. et la dette hypothécaire totalisait 1'461'963 fr.; - pour l'année fiscale 2008, ils ont déclaré un revenu brut immobilier de 11'720 fr. pour l'impôt cantonal et communal et 15'421 fr. pour l'impôt fédéral direct, contrebalancé par des charges et frais d'entretien de 19'968 fr. pour l'impôt cantonal et communal et 19'968 fr. pour l'impôt fédéral direct, leurs intérêts hypothécaires s'élevant à 53'655 fr.. L'immeuble avait une valeur de 1'292'122 fr. et la dette hypothécaire totalisait 1'405'834 fr. Le 1er novembre 2010, l'Administration fiscale cantonale du canton de Genève a transmis aux contribuables deux bordereaux de taxation concernant l'impôt cantonal et communal et l'impôt fédéral direct 2004 comprenant notamment un correctif de 49'013 fr. en leur défaveur. La déduction de l'excédent des intérêts passifs attribués à l'immeuble sis en France était refusée. Le 26 novembre 2010, les contribuables ont déposé une réclamation contre leurs taxations d'impôt cantonal et communal et d'impôt fédéral direct 2004, invoquant une discrimination prohibée par les principes fondamentaux du droit communautaire. Le 24 janvier 2011, l'Administration fiscale cantonale a adressé aux contribuables six bordereaux de taxation concernant l'impôt cantonal et communal et l'impôt fédéral direct 2005, 2006 et 2007 comprenant notamment des correctifs de 49'847 fr., 51'172 fr. respectivement 40'106 fr. en leur défaveur. Les 10 et 22 février 2011, les contribuables ont déposé une réclamation contre leurs taxations d'impôt cantonal et communal et d'impôt fédéral direct 2005, 2006 et 2007. Le 18 mars 2011, l'Administration fiscale cantonale a adressé aux contribuables deux bordereaux de taxation relatif à l'impôt cantonal et communal et l'impôt fédéral direct 2008 comprenant un correctif de 60'578 fr. en leur défaveur. Le 11 avril 2011, les contribuables ont déposé une réclamation contre leur taxation d'impôt cantonal et communal et d'impôt fédéral direct 2008. Par décisions sur réclamation du 14 avril 2011, l'Administration fiscale cantonale a maintenu les taxations d'impôt cantonal et communal et d'impôt fédéral direct des contribuables pour les années fiscales 2004, 2005, 2006 et 2007. Par décisions sur réclamation du 23 mai 2011, l'Administration fiscale cantonale a également maintenu la taxation concernant l'impôt cantonal et communal et l'impôt fédéral direct 2008. B. Par acte du 11 mai 2011, les contribuables ont interjeté recours auprès du Tribunal administratif de première instance contre les décisions précitées et leurs bordereaux d'impôt cantonal et communal et d'impôt fédéral direct 2004 à 2007. Le 20 juin 2011, ils ont également interjeté recours contre les décisions concernant l'impôt cantonal et communal et l'impôt fédéral direct 2008 auprès du Tribunal administratif de première instance, en concluant à la jonction des causes, à l'annulation de ces décisions et à la constatation de la déductibilité entière de l'excédent d'intérêts passifs des revenus imposables en Suisse. Par jugement du 5 novembre 2012, le Tribunal administratif de première instance a rejeté le recours des contribuables. Le 12 décembre 2012, les contribuables ont interjeté recours auprès de la Cour de justice du canton de Genève contre le jugement du 5 novembre 2012. C. Par arrêt du 14 janvier 2014, la Cour de justice du canton de Genève a rejeté le recours. Elle a jugé que l'excédent de charges liées aux immeubles sis à l'étranger fait partie des «autres hypothèses» prévues à l'art. 6 al. 3 3ème phr. LIFD et qu'il ne peut pas être pris en considération pour la détermination du revenu net, mais uniquement pour celle du taux de l'impôt. Elle a jouté que les contribuables étaient ressortissants hollandais, résidaient en France et travaillaient dans le canton de Genève et qu'ils étaient traités de la même manière que des ressortissants suisses résidant à Genève et disposant d'une résidence secondaire en France. L'art. 6 al. 3 3ème phr. LIFD n'était dès lors pas contraire au principe de non-discrimination découlant de l'Accord conclu le 21 juin 1999 entre la Suisse, d'une part, et la communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681). Enfin, dans la mesure où la fiscalité était une question relevant de la compétence des Etats parties à l'ALCP, il n'y avait pas lieu de se référer à la jurisprudence de la CJCE (actuellement CJUE) pour interpréter la notion d'excédent d'intérêts passifs, d'autant moins que ledit accord ne traitait pas expressément de cette problématique. D. Agissant par la voie du recours en matière de droit public, A.X._ et B.X._ demandent au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt rendu le 14 janvier 2014 par la Cour de justice du canton de Genève et de renvoyer la cause à l'instance précédente pour nouvelle décision dans le sens des considérants. Ils soutiennent qu'à titre de quasi résident au sens du droit fiscal suisse le refus de déduire du revenu imposable en Suisse de l'excédent de charge provenant de l'immeuble sis en France viole l'ALCP et la jurisprudence de la CJCE. La Cour de justice s'en remet à justice quant à la recevabilité du recours et persiste au surplus dans les considérants et le dispositif de son arrêt. L'Administration fiscale genevoise et l'Administration fédérale des contributions proposent de rejeter le recours. 