Faits: A. AX._ et BX._, domiciliés à A._, ont reçu une décision de taxation du 19 décembre 2007 pour les impôts cantonaux et communaux sur le revenu et la fortune de la période fiscale 2006 se montant à un total de 28'758 fr. 90. En annexe au bordereau était joint un relevé de compte mentionnant, outre les dates d'opération et de valeur, les éléments suivants: Mouvements Débit Crédit Paiement par BVR 416.- Paiement par BVR 416.- Paiement par BVR 416.- Paiement par BVR 416.- Paiement par BVR 416.- Paiement par BVR 416.- Paiement par BVR 416.- Paiement par BVR 416.- Paiement par BVR 416.- Paiement par BVR 416.- Bordereau notifié le 19.12.2007 28'758.90 Impôt anticipé 919.90 Intérêt financier 500.60 Totaux 29'259.50 5'079.90 Solde en notre faveur 24'179.60 Les époux X._ ont élevé réclamation à l'encontre de ce bordereau; ils contestaient, dans son principe, l'intérêt financier porté au débit de leur compte. Ils estimaient que l'art. 360 de la loi générale genevoise du 9 novembre 1887 sur les contributions publiques (LCP; RS/GE D 3 05) prévoyait une échéance de l'impôt à la date de la notification de la décision de taxation et qu'ainsi aucun intérêt ne pouvait être mis à la charge du contribuable avant cette notification, soit en l'espèce le 19 décembre 2007. Par décision du 4 mars 2008, l'Administration fiscale cantonale du canton de Genève (ci-après: l'Administration fiscale) a rejeté la réclamation des intéressés. La Commission cantonale de recours en matière administrative du canton de Genève a fait de même le 30 août 2010. B. La Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice), par arrêt du 17 mai 2011, a rejeté le recours des époux X._. Elle a en substance jugé que le fisc était fondé à réclamer des intérêts financiers; les apparentes contradictions des dispositions sur l'échéance et l'acquittement des impôts disparaissaient à la lecture des travaux préparatoires; il en ressortait que l'art. 361 al. 4 LCP prévoyait expressément lesdits intérêts. C. Agissant par la voie du recours en matière de droit public, AX._ et BX._ demandent au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 17 mai 2011 de la Cour de justice, de constater que la "loi fiscale genevoise ne contient aucun terme général d'échéance différent de l'échéance stipulée à l'art. 360 LCP", de dire que l'impôt est exigible en application de l'art. 363 LCP, de constater qu'aucun intérêt financier ou moratoire ne peut être calculé avant la date d'exigibilité du bordereau d'impôt et d'annuler l'intérêt financier infligé aux recourants. L'Administration fiscale cantonale conclut au rejet du recours. La Cour de justice persiste dans les considérants et le dispositif de son arrêt. L'Administration fédérale des contributions s'en remet à justice, l'objet du recours relevant de l'application de dispositions de droit cantonal et ne faisant pas partie du droit harmonisé. 