Sachverhalt: A. Der Produktions- und Dienstleistungsverein B._ bietet in X._ Werkstatt- und Ausbildungsplätze für Personen mit psychischer Behinderung an. Im Rahmen eines über die F._ AG eröffneten Konkursverfahrens konnte er am 1. November 2001 eine bisher bei dieser in Konkurs geratenen Firma bloss gemietete Liegenschaft (nachstehend: Liegenschaft I._) im Gewerbezentrum, in welchem sich auch seine übrigen Arbeits-und Produktionsräume befinden, zum Preis von Fr. 1,85 Mio. (bei einem Schätzungswert von Fr. 2,4 Mio.) käuflich erwerben. Zuvor hatte der Verein am 6. September 2001 beim Fürsorgeamt des Kantons Y._ ein Gesuch um einen Beitrag der Invalidenversicherung an die Kosten des Erwerbs dieser Liegenschaft eingereicht. Nach Einholung einer die Beitragsgewährung grundsätzlich befürwortenden Stellungnahme des Hochbauamtes des Kantons Y._ vom 24. September 2001 überwies das Fürsorgeamt das Leistungsgesuch am 5. Oktober 2001 an das zuständige Bundesamt für Sozialversicherung (BSV). Dieses teilte dem Verein mit Schreiben vom 18. Februar 2002 mit, eine finanzielle Beteiligung der Invalidenversicherung sei nicht möglich, da der Liegenschaftserwerb ohne seine vorgängige schriftliche Zusicherung erfolgte. Daran hielt das Bundesamt nach Prüfung der vom Verein erhobenen Einwände mit als Verfügung bezeichnetem Schreiben vom 26. April 2002 und - nach Einsicht in eine weitere Stellungnahme vom 30. April 2002 - mit Verfügung vom 9. September 2002 fest. B. Die gegen die ablehnende Verfügung vom 9. September 2002 beim Eidgenössischen Departement des Innern (EDI) erhobene Beschwerde mit dem Begehren um Zusprechung eines Baubeitrages an den Erwerb der Liegenschaft I._ in X._ in Höhe von Fr. 608'445.- zuzüglich 5 % Verzugszins seit 1. November 2001 wies die Eidgenössische Rekurskommission für kollektive Leistungen der Alters- und Invalidenversicherung, an welche das EDI die Sache am 16. Januar 2003 zuständigkeitshalber überwiesen hatte, mit Entscheid vom 4. Juni 2003 ab. C. Mit Verwaltungsgerichtsbeschwerde lässt der Verein B._ seine im Verfahren vor dem EDI resp. der Eidgenössischen Rekurskommission gestellten Anträge erneuern. Das BSV schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. 