Faits: A. A._ vit séparé de son épouse depuis le 1er septembre 2003. Leurs enfants B._, née en 1983 et étudiante en 2003, ainsi que C._, né en 1986, sont restés au domicile de leur mère. Par convention datée du 24 octobre 2003, A._ s'est engagé vis-à-vis de son épouse à lui verser, à partir du mois de septembre 2003, un montant total mensuel de 16'667 fr. à titre de contribution à son entretien et à celui de leurs enfants. B. Le 22 juin 2004, A._ a informé l'Administration fiscale cantonale (ci-après: l'Administration cantonale) de sa séparation d'avec son épouse et du fait que le couple ne mettait plus en commun les moyens nécessaires à l'entretien de la famille, en demandant à faire l'objet d'une taxation séparée pour l'année 2003. Dans sa déclaration fiscale concernant l'impôt fédéral direct (ci-après: IFD) et les impôts cantonal et communal (ci-après: ICC) pour la période de 2003, A._ a notamment déduit un montant de 200'004 fr. au titre de contributions d'entretien, estimant que, dès lors que la situation des époux se déterminait au 31 décembre 2003, sa contribution d'entretien de 16'667 fr. par mois, soit 12'667 fr. en faveur de son épouse et 2'000 fr. pour chacun des enfants, devait être annualisée. Par courrier du 17 janvier 2005, le contribuable a confirmé que la contribution d'entretien convenue avec son épouse était versée depuis le mois de septembre 2003. Le 28 juin 2005, l'Administration cantonale a notifié à A._ un bordereau de taxation IFD 2003 d'un montant de 64'487 fr 70, basé sur un revenu imposable de 574'100 fr. (barème pour personne seule), ainsi qu'un bordereau de taxation ICC 2003 d'un montant de 170'757 fr. 85, fondé notamment sur un revenu imposable de 574'883 fr. (barème A pour personne seule). Les deux bordereaux retiennent en déduction un montant de 58'667 fr. - soit 4 x 12'667 fr. + 4 x 2'000 fr., calculés à partir de la date de prise d'effet de la convention d'entretien au 1er septembre 2003 - au titre de contributions d'entretien au lieu des 200'004 fr. déclarés. C. Par décisions du 5 septembre 2007, l'Administration cantonale a rejeté la réclamation élevée contre les bordereaux du 28 juin 2005 en tant qu'elle portait, notamment, sur la déduction des contributions d'entretien. Par décision du 26 octobre 2009, la Commission cantonale de recours en matière administrative de Genève (ci-après: la Commission de recours) a partiellement admis le recours interjeté par A._ contre les décisions du 5 septembre 2007; elle a toutefois confirmé le montant de la déduction des pensions alimentaires retenu par l'Administration cantonale. S'agissant des charges de famille dont le contribuable souhaitait aussi obtenir la déduction, la Commission de recours a précisé que celui-ci ne pouvait s'en prévaloir pour son enfant mineur dont il n'avait pas la garde. En revanche, il devait, s'agissant de son enfant majeur à l'entretien duquel il pourvoyait, bénéficier d'une telle déduction à raison de 5'600 fr. pour l'IFD et d'une demi-charge de famille de 3'250 fr. pour les ICC. Saisie d'un recours contre la décision de la Commission de recours du 26 octobre 2009, la Chambre administrative de la Cour de Justice de la République et canton de Genève (ci-après: la Cour de Justice) l'a rejeté le 25 janvier 2011 et a confirmé la décision de la Commission précitée. D. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, principalement et sous suite de dépens, d'annuler l'arrêt du 25 janvier 2011 et les bordereaux IFD et ICC 2003 du 28 juin 2005, et de dire qu'il bénéficie au titre de la déduction prévue au code 53.10 "pension, contribution à l'entretien versée" d'un montant de 176'004 fr.; subsidiairement, de renvoyer le dossier au Département des Finances du canton de Genève afin qu'il émette de nouveaux bordereaux ICC et IFD 2003 en tenant compte d'un montant de 176'004 fr. au titre de "pension, contribution à l'entretien versée". La Cour de Justice, l'Administration cantonale et l'Administration fédérale des contributions concluent au rejet du recours et à la confirmation de l'arrêt querellé. 