Faits: A. X._ est imposé dans le canton de Genève. Au 31 décembre 2005, X._ était célibataire, mais partageait sa vie avec Y._, ressortissante kenyane. Celle-ci est arrivée en Suisse le 5 janvier 2004 avec leur fils A._, né le 23 février 2003, ainsi qu'avec ses enfants B._, née le 24 mars 1993, et C._, né le 7 mai 1997, tous deux issus d'une autre relation. X._ et Y._ se sont mariés le 3 mai 2006. Le 28 juin 2006, X._ a adressé à l'Administration fiscale cantonale sa déclaration d'impôt pour la période fiscale 2005. Il a indiqué qu'il était marié avec Y._ et qu'il avait trois enfants à charge, à savoir A._, C._ et B._. S'agissant de l'impôt fédéral direct, il avait déduit du revenu brut notamment les montants suivants: - charges de famille: 16'800 fr. (3 enfants à 5'600 fr.); - assurance maladie de l'épouse: 2'832 fr.; - assurances maladie des enfants: 2'606 fr. (cotisations pour 3 enfants). B. Par bordereau du 8 novembre 2006, l'Administration fiscale cantonale a fixé le revenu imposable au titre de l'impôt fédéral direct de X._ à 133'000 fr. Elle a refusé d'admettre en déduction les charges afférentes à la concubine du contribuable, ainsi qu'aux enfants de cette dernière. La déduction pour charge de famille n'a ainsi été admise qu'à concurrence de 5'600 fr. (pour l'enfant commun A._) et celle relative aux primes d'assurances maladie qu'à hauteur de 2'200 fr. A l'encontre de ce bordereau, X._ a formé, notamment sur les points précités, une réclamation qui a été rejetée par décision du 18 décembre 2006. X._ a déféré ce prononcé à la Commission cantonale de recours de l'impôt fédéral direct (ci-après: la Commission cantonale de recours) - intégrée le 1er janvier 2009 dans la Commission cantonale de recours en matière administrative -, qui, par décision du 10 décembre 2008, a rejeté le recours en tant qu'il portait sur les points précités. A l'encontre de cette décision, X._ a recouru au Tribunal administratif du canton de Genève. Par arrêt du 23 mars 2010, cette autorité a rejeté le recours sur le point des déductions liées à l'entretien de Y._. Elle l'a en revanche admis s'agissant des déductions pour l'entretien des enfants de cette dernière et a renvoyé le dossier à l'Administration fiscale cantonale pour nouvelle taxation dans le sens des considérants. C. Agissant par la voie du recours en matière de droit public, l'Administration fiscale cantonale demande au Tribunal fédéral d'annuler l'arrêt du 23 mars 2010 en tant qu'il porte sur les déductions pour l'entretien des enfants de Y._ et de confirmer à cet égard la décision de la Commission cantonale de recours du 10 décembre 2008. L'Administration fédérale des contributions propose d'admettre le recours. L'intimé conclut implicitement à son rejet. L'autorité précédente ainsi que la Commission cantonale de recours ne se sont pas déterminées dans le délai imparti. 