A.- P._ était au bénéfice d'une rente ordinaire de vieillesse pour couple depuis le 1er novembre 1988. Au mois de mars 2000, la Caisse suisse de compensation a appris que l'épouse de l'assuré était décédée le 18 août 1995. Aussi, par décision du 16 mai 2000, a-t-elle supprimé la rente de vieillesse pour couple à partir du 31 août 1995 et l'a remplacée par une rente simple. Elle a en outre réclamé à P._ la restitution d'un montant de 2544 fr., représentant la différence entre la somme des rentes mensuelles pour couple perçues à tort (7568 fr.) et celle des rentes mensuelles simples dues depuis le 1er septembre 1995 (5024 fr.). Cette décision indiquait par ailleurs que l'intéressé avait la faculté de demander la remise de son obligation de restituer. B.- Saisie d'un recours contre cette décision, la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger l'a rejeté par jugement du 21 mai 2001 et a transmis le dossier à la caisse pour qu'elle rende une décision sur la demande de remise de l'obligation de restituer les prestations. C.- P._ interjette un recours de droit administratif contre ce jugement. La caisse demande au Tribunal fédéral des assurances de ne pas entrer en matière sur le recours. L'Office fédéral des assurances sociales a renoncé à se déterminer. 