Faits: A. X._ est employé par l'Administration fiscale cantonale du canton de Genève en qualité de taxateur. Dans sa déclaration d'impôt pour la période 2006, X._ a déduit sous la rubrique "Cotisations AVS/AI, APG, Chômage, AANP, Assurance maternité" un montant total de 8'024 fr., comprenant une somme de 114 fr. que son employeur avait retenue sur son salaire à titre de cotisation à une assurance complémentaire perte de gain en cas de maladie. Dans son bordereau d'impôt fédéral direct 2006 du 10 décembre 2007, l'Administration fiscale cantonale n'a pas admis en déduction le montant de 114 fr. B. A l'encontre de ce bordereau, X._ a formé une réclamation qui a été rejetée par décision du 10 janvier 2008. X._ a déféré ce prononcé à la Commission cantonale de recours de l'impôt fédéral direct (intégrée le 1er janvier 2009 dans la Commission cantonale de recours en matière administrative, dont les compétences ont été reprises dès le 1er janvier 2011 par le Tribunal administratif de première instance du canton de Genève). Par décision du 15 mars 2010, la Commission cantonale a rejeté le recours. A l'encontre de cette décision, X._ a recouru au Tribunal administratif du canton de Genève - devenu entre-temps la Chambre administrative de la Cour de justice du canton de Genève. Par arrêt du 7 décembre 2010, cette autorité a rejeté le recours. Elle a considéré que le montant en cause ne tombait pas sous le coup de l'art. 33 al. 1 let. f de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11), mais de l'art. 212 al. 1 LIFD. Or, la limite fixée par cette dernière disposition étant déjà atteinte dans le cas de X._, celui-ci ne pouvait déduire la somme litigieuse. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, en substance, d'annuler l'arrêt du 7 décembre 2010 et d'admettre en déduction le montant de 114 fr., sous suite de frais pour la procédure fédérale et l'instance précédente. L'Administration fiscale cantonale et l'Administration fédérale des contributions proposent de rejeter le recours. L'autorité précédente s'en remet à justice quant à sa recevabilité et persiste pour le surplus dans les considérants et le dispositif de son arrêt. Le Tribunal administratif de première instance ne s'est pas déterminé dans le délai imparti. 