Faits: Faits: A. Par requête du 7 mars 2001, D._ a demandé à la Caisse suisse de compensation (CSC) le transfert des cotisations versées à l'assurance vieillesse et survivants suisse aux assurances sociales italiennes. Par décision du 18 mars 2003, confirmée sur opposition le 18 juin 2003, la CSC a rejeté la requête au motif que l'intéressé était encore domicilié en Suisse à la date déterminante. A. Par requête du 7 mars 2001, D._ a demandé à la Caisse suisse de compensation (CSC) le transfert des cotisations versées à l'assurance vieillesse et survivants suisse aux assurances sociales italiennes. Par décision du 18 mars 2003, confirmée sur opposition le 18 juin 2003, la CSC a rejeté la requête au motif que l'intéressé était encore domicilié en Suisse à la date déterminante. B. Par jugement du 11 novembre 2003, la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger (ci-après la commission fédérale de recours) n'est pas entrée en matière sur le recours formé par D._, en considérant qu'il était domicilié à M._, en Suisse. B. Par jugement du 11 novembre 2003, la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger (ci-après la commission fédérale de recours) n'est pas entrée en matière sur le recours formé par D._, en considérant qu'il était domicilié à M._, en Suisse. C. D._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, sous suite de frais et dépens. Au vu des attestations en partie contradictoires figurant au dossier, la caisse s'est abstenue d'une prise de position de même que l'Office fédéral des assurances sociales. Au vu des attestations en partie contradictoires figurant au dossier, la caisse s'est abstenue d'une prise de position de même que l'Office fédéral des assurances sociales. D. Par écritures des 5 février 2004 et 15 mars 2004, le recourant a déposé de nouvelles pièces à l'appui de son recours. La commission fédérale de recours a également adressé au Tribunal fédéral des assurances une attestation établie le 16 mars 2004 par le Service des contributions de l'Etat du Valais, relative au départ pour l'étranger de D._. 