Faits: A. Le 28 avril 2003, S._, né le 15 janvier 1937, ressortissant français et domicilié en France, a présenté une demande de rente de vieillesse, en indiquant avoir travaillé quatre ans (de mars 1953 à mars 1957) en Suisse. Par décision du 13 juin 2003, confirmée sur opposition du requérant le 31 juillet suivant, la Caisse suisse de compensation (ci-après: la caisse) a rejeté la demande, au motif qu'il n'avait cotisé à l'AVS que durant six mois au total. B. S._ a recouru devant la Commission fédérale de recours en matière d'AVS/AI pour les personnes résidant à l'étranger (ci-après: la commission) qui l'a débouté par jugement du 2 octobre 2003. C. S._ interjette recours de droit administratif contre ce jugement dont il requiert implicitement l'annulation. Il demande que son dossier soit revu faisant valoir qu'il avait travaillé en Suisse pendant au moins trois ans. La caisse conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales (OFAS) a renoncé à se déterminer. 