Faits: A. Né en 1959, X._ a pris domicile à A._, où il a exercé une activité lucrative dépendante, à partir de 1996. Depuis 1999, il a procédé à des rachats auprès de sa caisse de pension professionnelle (IIe pilier), pour les montants suivants: 1999: 20'354 fr.; 2000: 22'915 fr.; 2001: 60'000 fr.; 2002: 60'000 fr.; 2003: 20'000 fr.; 2004: 70'000 fr. (rachat intervenu le 27 décembre 2004). Au moyen de deux emprunts totalisant 350'000 fr. et de fonds propres, X._ et son épouse ont acquis un bien immobilier en France le 22 avril 2003, vers lequel ils ont transféré leur domicile en date du 1er juillet 2003. Le 21 février 2005, X._ a obtenu des renseignements de sa caisse de pension au sujet des modalités d'un versement anticipé de son capital de prévoyance. Le 23 mars 2005, sa caisse de pension lui a versé 210'000 fr. destinés à amortir ses emprunts hypothécaires concernant son bien immobilier. X._ étant assujetti à l'impôt à la source, selon l'attestation-quittance de son employeur, le revenu soumis à l'impôt pour 2004 se montait à 296'304 fr. 20 et les impôts retenus à 79'113 fr. 20. B. Par décision du 21 février 2006, l'Administration fiscale cantonale de Genève (ci-après: l'Administration fiscale cantonale) a arrêté, en le rectifiant, l'impôt à la source perçu pour l'année 2004 à 76'765 fr. 05 pour un montant imposable ramené à 290'227 fr. Elle a en revanche refusé d'admettre la déduction du rachat de prévoyance de 70'000 fr. effectué en 2004, au motif que le délai restreint entre le financement du rachat et le versement anticipé du capital de prévoyance constituait une planification fiscale ayant pour but une économie injustifiée d'impôt, qui a été évaluée à 27'324 fr. 10. La réclamation déposée par X._ en date du 21 mars 2006 a été rejetée par l'Administration fiscale cantonale par décision du 26 mai 2006, contre laquelle le contribuable a recouru auprès de la Commission cantonale de recours en matière d'impôts le 29 juin 2006. Cette dernière, devenue entre-temps la Commission cantonale de recours en matière administrative (ci-après: la Commission cantonale de recours), a admis le recours le 4 février 2009 et a renvoyé le dossier à l'Administration fiscale cantonale pour nouvelle taxation. Par arrêt du 26 janvier 2010, la 1ère section du Tribunal administratif de la République et canton de Genève (ci-après: le Tribunal administratif) a rejeté le recours interjeté par l'Administration fiscale cantonale, estimant qu'il n'existait pas d'éléments permettant de retenir un cas d'évasion fiscale, si bien que l'Administration fiscale cantonale devait admettre la déduction du rachat litigieux. C. Agissant par la voie du recours en matière de droit public, l'Administration fiscale cantonale demande au Tribunal fédéral d'annuler l'arrêt du Tribunal administratif du 26 janvier 2010 et de confirmer la décision sur réclamation du 26 mai 2006. S'en rapportant à justice quant à la recevabilité du recours, le Tribunal administratif persiste dans les considérants et le dispositif de son arrêt. X._ conclut, sous suite de frais et dépens, au rejet du recours et à la confirmation de l'arrêt du Tribunal administratif du 26 janvier 2010. S'en prenant aux faits constatés, l'Administration fédérale des contributions conclut à l'admission du recours. 