A.- Le 20 septembre 2000, Z._ a demandé à la Caisse suisse de compensation (ci-après : la caisse) le remboursement des cotisations versées à l'AVS au cours de son activité lucrative en Suisse de 1982 à 1988. Par décision du 15 mars 2001, la caisse a rejeté la demande, motif pris d'un comportement indigne. B.- Par jugement du 16 juillet 2001, la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger (ci-après : la commission) a rejeté le recours formé par l'intéressé contre cette décision. C.- Z._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, en concluant au remboursement des cotisations. La caisse conclut au rejet du recours; l'Office fédéral des assurances sociales (OFAS) renonce à se déterminer. 