A.- Der 1940 geborene H._ liess sich Mitte 1985 in Südafrika nieder, wobei er innerhalb dieses Staates seinen Wohnsitz mehrmals gewechselt hat. Im März 1987 trat er der freiwilligen AHV/IV für Auslandschweizer bei. Nachdem er den am 3. Oktober 1990 verfügten Mindestbeitrag für 1991 schuldig geblieben war und ihm eingeschriebene Mahnungen sowie die Ausschlussandrohung nicht zugestellt werden konnten, ging die Schweizerische Ausgleichskasse davon aus, dass er ab 1. Januar 1994 aus der freiwilligen Versicherung ausgeschlossen sei. In der Folge reichte H._ im März 1996 eine neue Beitrittserklärung ein, worin er geltend machte, er habe sich "nie abgemeldet und alle erhobenen Beiträge bezahlt". Mit Verfügung vom 21. Mai 1996 lehnte die Ausgleichskasse das (neuerliche) Beitrittsgesuch ab, weil es vom über 50-jährigen Gesuchsteller nicht innert Jahresfrist seit Wegfall der Voraussetzungen für die obligatorische Versicherung eingereicht worden sei. Diese vom Schweizerischen Generalkonsulat in Johannesburg am 5. Juni 1996 an die Postfachadresse von H._ eingeschrieben versandte Verfügung wurde von der südafrikanischen Post als nicht zugestellt ("undelivered") an die schweizerische Auslandvertretung zurückgeschickt, wo sie am 17. Juli 1996 wieder einging. Einem zweiten Zustellungsversuch mit Versanddatum vom 22. Juli 1996 war ebenfalls kein Erfolg beschieden; die eingeschriebene Briefpostsendung traf am 3. September als nicht abgeholt ("unclaimed") wieder beim Generalkonsulat ein. H._ nahm die Verfügung erst am 23. September 1996 in Empfang, nachdem die konsularische Vertretung sie am 6. September 1996 ein drittes Mal eingeschrieben versandt hatte. B.- Die Eidgenössische Rekurskommission der AHV/IV für die im Ausland wohnenden Personen trat mit Entscheid vom 23. April 1998 auf die Beschwerde gegen die Kassenverfügung vom 21. Mai 1996 nicht ein. H._ habe sich den ersten Zustellungsversuch anrechnen zu lassen, weshalb sich die erst am 21. Oktober 1996 bei der Rekurskommission eingegangene Beschwerde als verspätet erweise. Gründe für eine Wiederherstellung der Rechtsmittelfrist seien keine gegeben. C.- H._ führt Verwaltungsgerichtsbeschwerde, mit welcher er - neben materiellen Rechtsbegehren - sinngemäss beantragt, auf die vorinstanzlich eingereichte Beschwerde sei einzutreten. Die Ausgleichskasse verzichtet ausdrücklich auf eine Stellungnahme zur Verwaltungsgerichtsbeschwerde. 