Faits: A. A._, de nationalité suisse, est né au Liban le 28 juin 2000. Le lendemain de la naissance de l'enfant, un examen néonatal pratiqué par le Dr S._ a révélé une malformation congénitale de l'urètre (hypospadias). Ce diagnostic a été confirmé par le pédiatre J._ le 4 août 2000. Le 22 août 2002, C._ et M._ ont déposé, au nom de leur fils, une demande de prestations de l'assurance-invalidité tendant à des mesures médicales de réadaptation. Celles-ci consistaient en un traitement de l'hypospadias, débuté dans une clinique de X._ le 14 août 2002 et devant durer cinq ans, avec une intervention chirurgicale pratiquée le 28 août 2002, suivie d'une hospitalisation. Par décision du 10 décembre 2002, l'Office AI pour les assurés résidant à l'étranger (l'office AI) a rejeté la demande de prestations au motif que, lors de la survenance du cas d'assurance le 14 août 2002, les conditions d'assurance n'étaient pas remplies, les parents du requérant n'étant plus affiliés ni à l'assurance obligatoire, ni à l'assurance facultative. B. Par jugement du 7 mai 2003, la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger a rejeté le recours formé pour A._ par ses parents contre cette décision. C. A._, agissant par ses parents, interjette recours de droit administratif contre ce jugement, dont il requiert l'annulation, concluant à l'octroi des mesures médicales de réadaptation litigieuses. A l'appui de ses conclusions, le recourant fait valoir, en substance, que l'infirmité congénitale dont il est atteint a été constatée dès la naissance; que les soins chirurgicaux nécessaires étaient indiqués dès ce moment-là, mais que les médecins avaient jugé préférable d'attendre deux ans avant d'y procéder et que le chirurgien qui a effectué l'intervention plastique du 28 août 2002 avait été consulté en septembre 2000 ainsi qu'en été 2001 déjà, soit à une époque où M._ était encore affilié à l'assurance obligatoire. L'office AI propose le rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. 