Faits: Faits: A. P._, né en 1950, ressortissant suisse domicilié en France, était affilié à l'assurance vieillesse et survivants et à l'assurance-invalidité à titre facultatif. Le 16 janvier 2003, la Caisse suisse de compensation (ci-après : la caisse) lui a adressé un rappel, dans lequel elle précisait qu'il était encore débiteur d'un solde de cotisations de 2'909 fr. 55 pour la période courant jusqu'au 30 septembre 2002; elle l'invitait à payer ce montant dans un délai de 30 jours. En annexe à ce rappel figurait un «avis de situation» faisant état d'un solde de cotisations et de frais administratifs de 3'290 fr. 60 en faveur de la caisse, au 16 janvier 2003. Le 15 avril 2003, la caisse a adressé à l'assuré une sommation dans laquelle elle constatait qu'il n'avait pas donné suite au rappel «du 31 décembre 2002» (recte : 16 janvier 2003) concernant le paiement de cotisations sociales et lui impartissait un ultime délai de 30 jours pour régulariser sa situation. Elle précisait que si des cotisations n'étaient pas entièrement acquittées avant le 31 décembre de l'année suivant celle pour laquelle elles étaient dues, l'assuré pouvait être exclu de l'assurance facultative. P._ s'est acquitté en juin 2003 du montant de 2'909 fr. 55 réclamé par la caisse pour la période courant jusqu'au 30 septembre 2002. En revanche, un solde de 380 fr. 05, correspondant au troisième trimestre 2002, est demeuré impayé, de même que les cotisations pour l'année 2003. Par décision du 8 janvier 2004, la caisse a exclu P._ de l'assurance-vieillesse et survivants, et de l'assurance-invalidité facultatives, avec effet rétroactif «au premier jour de la période de paiement pour laquelle les cotisations n'avaient pas été entièrement payées». L'assuré s'est opposé à cet exclusion, au motif qu'il n'avait pas reçu de rappel ni de sommation pour le montant des cotisations restées impayées. La caisse a maintenu l'exclusion, par décision sur opposition du 14 mai 2004. Par décision du 8 janvier 2004, la caisse a exclu P._ de l'assurance-vieillesse et survivants, et de l'assurance-invalidité facultatives, avec effet rétroactif «au premier jour de la période de paiement pour laquelle les cotisations n'avaient pas été entièrement payées». L'assuré s'est opposé à cet exclusion, au motif qu'il n'avait pas reçu de rappel ni de sommation pour le montant des cotisations restées impayées. La caisse a maintenu l'exclusion, par décision sur opposition du 14 mai 2004. B. L'assuré a déféré la cause à la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger, qui a rejeté son recours par jugement du 20 octobre 2004. B. L'assuré a déféré la cause à la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger, qui a rejeté son recours par jugement du 20 octobre 2004. C. P._ interjette un recours de droit administratif contre ce jugement. Il en demande l'annulation, ainsi que celle de la décision sur opposition du 14 mai 2004, et conclut à sa réintégration dans l'assurance-vieillesse et survivants ainsi que dans l'assurance-invalidité, avec effet rétroactif au 30 septembre 2002, le tout sous suite de frais et dépens. 