Faits : A. Durant les années 2006 à 2009, X._ (ci-après: le contribuable), domicilié en France, a exercé une activité lucrative dépendante à Genève soumise au régime de l'impôt à la source. Il est marié et père de trois enfants, nés respectivement en 1997, 1998 et 2005. Ces naissances étaient connues de la Centrale de compensation de la Caisse suisse de compensation, mais n'ont pas été portées à la connaissance de l'Office cantonal de la population du canton de Genève (devenu, depuis lors, l'Office cantonal de la population et des migrations du canton de Genève). L'employeur de X._ a rempli des attestations-quittances concernant l'impôt à la source pour les années 2006, 2007, 2008 et 2009. L'attestation-quittance remise le 31 janvier 2008 pour la période d'assujettissement du 1er mai 2007 au 31 juillet 2007 et du 10 septembre 2007 au 31 décembre 2007 mentionnait l'application du barème B7 (applicable aux contribuables avec trois enfants à charge), mais indiquait que l'intéressé n'avait pas d'enfants. Une deuxième attestation-quittance du 30 janvier 2008 pour la période d'assujettissement du 1er au 31 août 2007 mentionnait l'utilisation du barème B8 (également applicable aux contribuables avec trois enfants à charge) et indiquait que X._ avait trois enfants. A la suite de demandes de déduction formulées par le contribuable, l'Administration fiscale cantonale du canton de Genève (ci-après: l'Administration fiscale cantonale) lui a notifié quatre décisions de rectification de l'impôt à la source, le 27 octobre 2008 pour les années 2006 et 2007, le 26 janvier 2010 pour l'année 2008 et le 19 octobre 2010 pour l'année 2009. Ces décisions mentionnaient le barème d'imposition B5 (applicable aux contribuables avec deux enfants à charge) et indiquaient "charge (s) admise (s) : 2". B. B.a. Le 1er septembre 2011, par pli déposé au guichet de l'Administration fiscale cantonale, X._ a demandé à l'Administration fiscale cantonale de rectifier son imposition pour les années 2006 à 2009, dans la mesure où il n'avait pas été tenu compte du fait qu'il avait trois enfants à charge et non deux. La réclamation était motivée comme suit: "Afin de justifier ma demande tardive et hors délai légal de réclamation, je vous informe que je ne prêtais jusqu'à cette année pas attention au détail du courrier et je me contentais de payer les bordereaux joints en faisant confiance au calcul de vos services." Par trois décisions datées du 18 novembre 2011, l'Administration fiscale cantonale a déclaré que les réclamations du recourant étaient irrecevables, car tardives, ces dernières n'ayant pas été présentées dans le délai légal de trente jours dès réception des bordereaux prévu à l'art. 39 de la loi genevoise du 4 octobre 2001 de procédure fiscale (LPFisc/GE; RSGE D 3 17). B.b. Par trois actes du 22 décembre 2011, X._ a recouru contre ces décisions auprès du Tribunal administratif de première instance de Genève (ci-après: le Tribunal administratif). Par jugement du 26 novembre 2012, le Tribunal administratif a rejeté les recours, au motif que la réclamation du contribuable n'avait pas été formulée dans le délai légal fixé à l'art. 23 al. 2 let. a de la loi genevoise du 23 septembre 1994 sur l'imposition à la source des personnes physiques et morales (LISP/GE; RSGE D 3 20). B.c. Saisi d'un recours de X._, la Chambre administrative de la Cour de Justice du canton de Genève (ci-après: la Cour de Justice) l'a admis, par arrêt du 7 janvier 2014. Elle a annulé le jugement du Tribunal administratif ainsi que les décisions sur réclamation de l'Administration fiscale cantonale et renvoyé la cause à l'Administration fiscale cantonale pour qu'elle calcule l'impôt à restituer ainsi que les intérêts rémunératoires y associés. La Cour de Justice a retenu, en substance, que la demande du contribuable du 1er septembre 2011 était une demande de restitution au sens des art. 138 al. 2 LIFD et 21 al. 4 LISP/GE et qu'elle avait été déposée en temps utile, à savoir dans les cinq ans à compter de la connaissance par le contribuable du motif de la restitution et dans les dix ans après la fin des années où le paiement a eu lieu (art. 32 al. 2 de la loi genevoise du 26 juin 2008 relative à la perception et aux garanties des impôts des personnes physiques et morales [LPGIP/GE; RSGE D 3 18] appliqué par analogie). C. Agissant par la voie du recours en matière de droit public, l'Administration fiscale cantonale demande au Tribunal fédéral d'annuler l'arrêt de la Cour de Justice du 7 janvier 2014, de confirmer ses décisions sur réclamation du 18 novembre 2011 et les bordereaux rectificatifs d'imposition à la source 2006 du 27 octobre 2008, 2007 du 27 octobre 2008, 2008 du 26 janvier 2010 et 2009 du 19 octobre 2010. Le contribuable ne s'est pas déterminé. La Cour de justice n'a pas formulé d'observations, s'en remettant à justice quant à la recevabilité du recours et persistant dans les considérants et le dispositif de son arrêt. L'Administration fédérale des contributions conclut à l'admission du recours. 