Faits: A. A.X._ et B.X._ sont domiciliés à Genève. A.X._, né en 1934 (ci-après: l'intéressé), exerce une activité indépendante de psychiatre. Dans sa déclaration fiscale pour la période 2005, l'intéressé a déclaré un bénéfice net provenant de l'activité indépendante de 46'230 fr. Il a en outre mentionné une déduction portant sur les cotisations AVS/AI, APG et chômage s'élevant à 4'675 fr. Par décisions de taxation du 2 octobre 2006, le revenu soumis à l'impôt cantonal et communal pour la période fiscale 2005 s'élevait à 59'713 fr. et le revenu soumis à l'impôt fédéral direct à 86'700 fr. Le bénéfice déclaré a été redressé par l'Administration fiscale cantonale du canton de Genève de 46'230 fr. à 56'721 fr. Le montant de cotisations AVS/AI, APG et chômage de 4'675 fr. a été repris. Par décisions sur réclamation du 20 février 2007 concernant l'impôt fédéral direct ainsi que l'impôt cantonal et communal, l'Administration fiscale cantonale a corrigé la déduction des frais bancaires et n'a admis que 2'771 fr. de déductions au titre de cotisations AVS/AI, APG et chômage pour l'année 2005, ce qui correspondait au montant des acomptes versés par A.X._. Par actes déposés le 19 mars 2007, le contribuable a recouru contre les décisions sur réclamation du 20 février 2007 auprès de la Commission cantonale de recours en matière d'impôts, devenue depuis le 1er janvier 2009 la Commission cantonale de recours en matière administrative, concluant à l'admission d'une déduction de 3'628 fr. au titre de cotisations AVS/AI, APG et chômage, en lieu et place du montant de 2'771 fr. A l'appui de son recours, l'intéressé a produit une correspondance de la caisse AVS datée du 18 janvier 2008 l'informant de ce que les acomptes de cotisations AVS/AI, APG et chômage dus pour l'année 2005 s'élevaient à 2'770 fr. 80. Par décision du 23 novembre 2009, la Commission cantonale de recours en matière administrative a joint les recours et les a rejetés. La décision du 23 novembre 2009 a fait l'objet d'un recours du 18 décembre 2009 déposé par les époux X._ auprès du Tribunal administratif du canton de Genève pour les mêmes motifs. B. Par arrêt du 3 août 2010, le Tribunal administratif a rejeté le recours déposés par les intéressés le 18 décembre 2009. Il a jugé que A.X._ tenait un état de ses recettes et dépenses, ce qui signifiait que les revenus étaient comptabilisés au moment de l'encaissement. Une fois le système de comptabilisation choisi, le contribuable devait s'y tenir, ce qui signifiait que seules les cotisations effectivement payées en 2005 pouvaient être portées en déduction du revenu imposable. C. Agissant par la voie du recours en matière de droit public, A.X._ et B.X._ demandent au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt rendu le 3 août 2010 par le Tribunal administratif et de constater que le montant qui doit être repris au titre de déductions AVS pour 2005 s'élève à 3'628 fr. au lieu de 2'771 fr. Le Tribunal administratif persiste dans les considérants et le dispositif de son arrêt. L'Administration fiscale cantonale et l'Administration fédérale des contributions concluent au rejet du recours. 