A.- H._ est de nationalité suisse. Depuis son mariage, en 1969, elle a été domiciliée en Suisse, où elle n'a exercé aucune activité lucrative. En août 1995, elle a quitté la Suisse pour rejoindre son mari à S._. H._ a déposé le 28 février 1999 une déclaration d'adhésion à l'assurance-vieillesse, survivants et invalidité facultative pour les ressortissants suisses à l'étranger. Par décision du 29 juin 1999, la Caisse suisse de compensation a rejeté cette demande d'adhésion, motif pris de sa tardiveté. B.- H._ a recouru contre cette décision devant la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger (ci-après : la commission). Elle a été déboutée le 4 avril 2000. C.- H._ interjette recours de droit administratif contre ce jugement dont elle demande l'annulation. La Caisse suisse de compensation a conclu au rejet du recours. L'Office fédéral des assurances sociales ne s'est pas déterminé. 