Faits: A. X._, domicilié à Genève avec son épouse, exerce la profession de chauffeur de taxi à titre indépendant. Le 5 avril 2006, les époux XY._ (ci-après aussi: les contribuables) ont envoyé à l'Administration fiscale cantonale genevoise (ci-après: l'Administration cantonale) leur déclaration fiscale pour la période 2005. Selon le bilan et compte de pertes et profits de l'exercice 2005 figurant en annexe, l'activité indépendante avait généré un bénéfice net de 9'983 fr. 65. Ce montant s'obtenait comme suit: 35'850 (recettes taxi) + 2'400 (part privée taxi) = 38'250 fr. ./. (16'131.35 [frais généraux] + 12'135 [amortissements]) = 9'983 fr. 65. A plusieurs reprises, l'Administration cantonale a invité les époux XY._ à lui remettre les disques tachygraphiques du taxi pour toute l'année 2005, ainsi que les pièces comptables. Les contribuables n'ont pas produit ces documents. B. Le 29 janvier 2007, l'Administration cantonale a adressé aux contribuables deux bordereaux de taxation d'office valant l'un pour l'impôt cantonal et communal (ci-après: ICC) et l'autre pour l'impôt fédéral direct (ci-après: IFD) de la période 2005. Elle avait retenu un bénéfice net de l'activité indépendante de 42'001 fr. Le revenu imposable s'établissait ainsi à 96'512 fr. pour l'ICC et à 88'700 fr. pour l'IFD. La réclamation formée contre ces prononcés a été rejetée par décisions de l'Administration cantonale du 7 février 2008, confirmées par la Commission cantonale de recours en matière administrative du canton de Genève (décision du 18 janvier 2010). A l'encontre de cette dernière décision, X._, agissant seul, a interjeté un recours qui a été partiellement admis par arrêt de la Cour de justice du canton de Genève du 22 novembre 2011. Le contribuable avait en effet finalement produit les disques tachygraphiques afférents à l'année 2005, à l'exception de la période allant du 4 au 31 décembre 2005. Sur la base des disques produits - et en faisant une extrapolation pour la période manquante -, le kilométrage parcouru durant l'année 2005 s'élevait à 41'172. En déduisant un forfait de 5'200 km pour la part privée, ainsi que 12'000 km parcourus lors de voyages à l'étranger, le kilométrage professionnel était de 23'972. En retenant un rendement kilométrique moyen de 2 fr. 40, sur la base d'un document intitulé "coefficients d'expérience taxis, Genève", daté du 21 avril 2010 et transmis par l'Administration fédérale des contributions, Division principale de la taxe sur la valeur ajoutée, le chiffre d'affaires s'élevait à 57'533 fr. Déduction faite des charges déclarées par le contribuable, soit 28'266 fr., le bénéfice net imposable était de 29'267 fr., au lieu du montant de 42'001 fr. retenu précédemment. C. Contre cet arrêt, les époux XY._ forment un "recours de droit public" au Tribunal fédéral. Ils concluent, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué, du prononcé de la Commission cantonale de recours en matière administrative du 18 janvier 2010, des décisions sur réclamation du 7 février 2008, ainsi que des bordereaux ICC et IFD 2005 et au renvoi de la cause aux "autorités judiciaires genevoises" pour nouvelle décision dans le sens des considérants. A titre préalable, ils demandent que leur recours soit doté de l'effet suspensif, requête qui a été rejetée par ordonnance du Président de la IIe Cour de droit public du 16 janvier 2012. L'Administration fédérale des contributions et l'Administration cantonale concluent au rejet du recours, alors que l'autorité précédente persiste dans les considérants et le dispositif de l'arrêt entrepris. 