Sachverhalt: A. Die AHV-Rentnerin L._, geboren 1916, unterzeichnete am 20. Dezember 2001 ein Dokument, gemäss welchem ihr Sohn F._ und dessen Ehefrau den Betrag von Fr. 90'000.- von ihrem Bankkonto abheben dürften. Es handle sich dabei um eine Entschädigung für geleistete Hilfsdienste und Unterstützung, habe doch insbesondere die Schwiegertochter in den letzten Jahren zwei- bis dreimal in der Woche die Wohnung sauber gemacht, die Wäsche gewaschen und ab und zu auch Besorgungen erledigt. Diese Summe wurde am 12. Februar 2002 bar bezogen. Nachdem L._ am 14. Mai 2002 in ein Pflegeheim eingetreten war, liess sie am 17. Mai 2002 Antrag auf Ergänzungsleistungen stellen. Mit Verfügung vom 15. Juli 2002 gewährte das Amt für Sozialbeiträge Basel-Stadt L._ (neben kantonaler Beihilfe zur AHV für den Monat Mai 2002) für Mai 2002 Ergänzungsleistungen zur AHV in Höhe von Fr. 2478.-, für Juni 2002 in Höhe von Fr. 1977.- sowie ab Juli 2002 in Höhe von monatlich Fr. 950.-. Die Verwaltung berücksichtigte in der Berechnung dieser Ansprüche die vom Sohn und der Schwiegertochter im Februar 2002 bar bezogenen Fr. 90'000.- als Verzichtsvermögen. B. Die dagegen vom Sohn F._ erhobene Beschwerde hiess das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 10. Februar 2004 teilweise gut und wies die Sache an das Amt für Sozialbeiträge zurück, damit dieses über den Anspruch auf Ergänzungsleistungen und kantonale Beiträge neu verfüge. C. Das Amt für Sozialbeiträge führt Verwaltungsgerichtsbeschwerde mit den Anträgen, den vorinstanzlichen Entscheid aufzuheben, eventualiter das Verfahren bis zum Entscheid über die Urteils- und Handlungsfähigkeit der L._ zu sistieren. F._ lässt auf Abweisung der Verwaltungsgerichtsbeschwerde schliessen und einen Bericht des Dr. med. K._, Innere Medizin FMH, vom 24. Mai 2004 einreichen, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet. 