A.- Im April 1999 meldete sich der 1934 geborene F._ zusammen mit seiner 1939 geborenen Ehefrau S._ zum Bezug von Ergänzungsleistungen und kantonalen Beihilfen beim Amt für Sozialbeiträge Basel-Stadt an. Die Eheleute F._ und S._ bewohnen eine 6-Zimmer-Wohnung in Basel. Vom 25. Mai 1999 bis 16. Juni 2000 nahmen sie die Familie der erwachsenen Tochter (5 Personen) bei sich auf. Mit Verfügungen vom 25. April 2000 sprach das Amt für Sozialbeiträge Basel-Stadt den Eheleuten F._ und S._ monatliche Ergänzungsleistungen von Fr. 85.- ab April 1999 und von Fr. 113.- ab Januar 2000 sowie monatliche kantonale Beihilfe von Fr. 147.- ab April 1999 zu. Bei der Berechnung der Ergänzungsleistungen berücksichtigte das Amt den Netto-Mietzins von Fr. 11'280.- im Jahr lediglich im Umfang von 2/7 bzw. Fr. 3228.- und begründete dies damit, dass der Mietzinsanteil von Personen, die nicht in die EL-Berechnung eingeschlossen seien, ausser Acht zu lassen sei. Bei den Berufsunkosten der als Aushilfslehrerin tätigen Ehefrau lehnte das Amt es ab, die Kosten eines Hörgeräts mit Fernbedienung im Umfang des durch die Invalidenversicherung nicht übernommenen Betrags (Fr. 1225.-) sowie monatliche Auslagen von Fr. 40.- für Unterrichtsmaterial und die Aufwendungen für das Umweltschutzabonnement als Gewinnungskosten zu berücksichtigen. B.- Die Eheleute F._ und S._ beschwerten sich gegen diese Verfügungen und machten geltend, bei der vorübergehenden Aufnahme der in Not geratenen Familie der Tochter habe es sich um eine sittliche und gesetzliche Pflicht gehandelt, weshalb eine Aufteilung des nach wie vor von ihnen voll zu bezahlenden Mietzinses unberechtigt sei; ferner seien die geltend gemachten Gewinnungskosten vollumfänglich zu berücksichtigen. Die Kantonale Rekurskommission für die Ausgleichskassen und die IV-Stellen Basel-Stadt hiess die Beschwerde teilweise gut; sie beurteilte die Mietzinsaufteilung erst ab Dezember 1999 als zulässig und bejahte grundsätzlich einen Anspruch auf Anrechnung der Kosten des Umweltschutzabonnements als Gewinnungskosten; in diesem Sinne wurden die angefochtenen Verfügungen aufgehoben und die Sache zur Neuberechnung an das Amt für Sozialbeiträge zurückgewiesen (Entscheid vom 31. Mai 2001). C.- Die Eheleute F._ und S._ führen Verwaltungsgerichtsbeschwerde mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheids sei die Sache zur Neubeurteilung an die Vorinstanz bzw. an das Amt für Sozialbeiträge zurückzuweisen. Das Amt für Sozialbeiträge und das Bundesamt für Sozialversicherung (BSV) haben auf eine Vernehmlassung verzichtet. 