Faits: A. A X._, né en 1931, a conclu le 3 août 2001 avec la Compagnie d'Assurance SA C._ (ci-après: l'assurance C._) un contrat prévoyant le versement d'une rente temporaire annuelle d'un montant de 92'072 fr., en cas de vie de lui-même ou de son épouse B X._, née en 1938. Cette rente était payable la première fois le 1er novembre 2001 et la dernière fois le 1er mai 2009. En cas de décès de l'une des personnes assurées, la rente continuait à être versée en totalité au survivant. Ce n'est qu'en cas de décès des deux époux que le contrat prenait fin, sans prestations de l'assureur. L'assurance a été financée par le paiement d'une prime unique de 700'000 fr. La police contenait une clause de participation aux excédents. Tant en 2002 qu'en 2003, les bénéficiaires ont perçu la rente convenue de 92'072 fr., ainsi qu'un montant de 10'500 fr. à titre de participation aux excédents, soit un total de 102'572 fr. Par bordereau du 24 février 2004 relatif aux impôts cantonaux et communaux 2002, l'Administration fiscale cantonale du canton de Genève (ci-après: l'Administration fiscale cantonale ou le fisc) a fixé le montant de la rente imposée au titre de revenu à 36'828 fr. (92'072 fr. x 40%) et la valeur de la "rente viagère capitalisée" à 920'720 fr. pour l'impôt sur la fortune. Le 26 mai 2005, l'Administration fiscale cantonale a notifié aux époux X._ le bordereau pour l'impôt fédéral direct 2003, ainsi que pour les impôts cantonaux et communaux 2003. Le montant de la rente imposé au titre de revenu était de 41'029 fr. (102'572 fr. x 40%) et la valeur capitalisée de celle-ci pour l'impôt sur la fortune cantonal et communal se montait à 1'025'720 fr., montant dû à une erreur et ramené, par courrier du 30 mai 2005, à 552'432 fr. Par décision du 14 juin 2005 concernant les impôts cantonaux et communaux 2002, l'Administration fiscale cantonale a partiellement admis la réclamation des intéressés en tant qu'elle portait sur l'impôt sur la fortune et a ramené le montant de la rente capitalisée à 616'882 fr. Dans une décision sur réclamation du 14 juillet 2005 relative à l'impôt fédéral direct et aux impôts cantonaux et communaux 2003, l'Administration fiscale cantonale a rejeté la réclamation des époux X._. B. Les recourants ont déféré les décisions de l'Administration fiscale cantonale des 14 juin et 14 juillet 2005 auprès de la Commission cantonale de recours en matière d'impôts du canton de Genève, devenue, depuis le 1er janvier 2009, la Commission cantonale de recours en matière administrative (ci-après: la Commission cantonale de recours) par actes des 12 juillet et 8 août 2005. Statuant sur les deux recours par décision unique du 4 février 2009, la Commission cantonale de recours les a partiellement admis. Elle a estimé que les prestations versées en application d'un contrat d'assurance conclu pour une durée de huit ans par un contribuable âgé de 70 ans, devaient être assimilées à des rentes viagères temporaires relevant de l'assurance viagère et non pas à des rentes certaines relevant de l'assurance de capital. S'agissant de l'impôt fédéral direct et de l'impôt cantonal et communal sur le revenu 2002 et 2003, elle a considéré que les 102'572 fr. perçus pour chacune de ces années étaient imposables à raison de 40%, soit 41'029 fr. En ce qui concerne l'impôt cantonal et communal sur la fortune, elle a pris acte de l'engagement de l'Administration fiscale cantonale de modifier le montant imposable en faveur des contribuables, en appliquant un facteur de capitalisation de 5.2 pour l'année 2002 et 4.5 pour l'année 2003, déterminant respectivement une fortune imposable de 533'374 fr. et de 461'574 fr. Elle a considéré, à l'instar du fisc, qu'en l'absence de valeur de rachat, la valeur capitalisée des rentes viagères, comprenant les participations aux excédents, devait être prise en compte. C. Saisi d'un recours dirigé contre la décision précitée de la Commission cantonale de recours du 4 février 2009, le Tribunal administratif du canton de Genève, 2ème Section (ci-après: le Tribunal administratif), l'a rejeté, par arrêt du 16 juin 2009. Il a retenu, en substance, que l'assimilation de rentes viagères temporaires à des rentes certaines ne pouvait pas être retenue en l'espèce, compte tenu de la durée de la rente, soit dix ans, et de l'âge des assurés, dont le plus jeune avait 63 ans au début du versement de la rente, qui impliquait un risque. L'imposition au titre du revenu de ces rentes au taux de 40% était en conséquence justifiée. En outre, les assurances sans valeur de rachat n'étaient pas pour autant dénuées de valeur économique et devaient être prises en compte au titre de l'impôt sur la fortune, leur valeur étant fonction de la durée du versement en cas de rente temporaire ou de l'âge de l'assuré en cas de rente viagère. En l'espèce, en application de l'échelle applicable aux rentes temporaires, la rente capitalisée était effectivement de 533'374 fr. pour 2002 et de 461'574 fr. pour 2003. Pour le surplus, le Tribunal administratif a considéré que les recourants ne pouvaient rien tirer des quelques cas isolés dans lesquels le fisc n'avait pas soumis à l'impôt sur la fortune des assurances sans valeur de rachat ni restitution, compte tenu du principe selon lequel il n'y avait pas d'égalité dans l'illégalité. D. Agissant par la voie du recours en matière de droit public, A X._et B X._ demandent au Tribunal fédéral, avec suite de dépens, d'annuler l'arrêt du Tribunal administratif du 16 juin 2009, de dire que les rentes perçues en 2002 et 2003 doivent être imposées, au titre du revenu pour l'impôt cantonal et communal 2002 et 2003 et pour l'impôt fédéral direct 2003, à concurrence de 12'252 fr., soit des intérêts servis, et que la valeur de fortune de l'assurance correspond à la valeur de rachat, soit zéro, pour l'impôt sur la fortune cantonal et communal 2002 et 2003 et d'inviter le Département cantonal des finances à émettre de nouveaux bordereaux pour les impôts cantonaux et communaux 2002 et 2003 ainsi que pour l'impôt fédéral direct 2003. Ils invoquent une "violation du droit cantonal" et fédéral, ainsi qu'une violation de la capacité économique, de la garantie de la propriété, de la primauté du droit fédéral et de l'interdiction de l'arbitraire. Le Tribunal administratif renonce à formuler des observations et persiste dans les considérants et le dispositif de l'arrêt entrepris. L'Administration fiscale cantonale conclut au rejet du recours. L'Administration fédérale des contributions conclut également au rejet du recours, pour autant qu'il soit recevable. 