Sachverhalt: Sachverhalt: A. M._, geboren 1972, trat im Frühjahr 2003 freiwillig in die Psychiatrische Klinik X._ ein, um sich einem stationären Drogenentzug zu unterziehen. Er meldete sich am 8. Juli 2003 bei der Invalidenversicherung zum Leistungsbezug an, worauf die IV-Stelle des Kantons St. Gallen einen Bericht der Psychiatrischen Klinik X._ vom 14. August 2003 einholte. Mit Verfügung vom 24. September 2003 lehnte die Verwaltung den Anspruch auf berufliche Eingliederungsmassnahmen ab, da die Arbeitsunfähigkeit vor allem durch das Abhängigkeitsverhalten begründet sei und somit keine Invalidität im Sinne des Gesetzes vorliege; dies wurde durch Einspracheentscheid vom 29. Oktober 2003 bestätigt. A. M._, geboren 1972, trat im Frühjahr 2003 freiwillig in die Psychiatrische Klinik X._ ein, um sich einem stationären Drogenentzug zu unterziehen. Er meldete sich am 8. Juli 2003 bei der Invalidenversicherung zum Leistungsbezug an, worauf die IV-Stelle des Kantons St. Gallen einen Bericht der Psychiatrischen Klinik X._ vom 14. August 2003 einholte. Mit Verfügung vom 24. September 2003 lehnte die Verwaltung den Anspruch auf berufliche Eingliederungsmassnahmen ab, da die Arbeitsunfähigkeit vor allem durch das Abhängigkeitsverhalten begründet sei und somit keine Invalidität im Sinne des Gesetzes vorliege; dies wurde durch Einspracheentscheid vom 29. Oktober 2003 bestätigt. B. Die dagegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 4. Februar 2004 teilweise gut, bejahte das Bestehen eines invalidisierenden Gesundheitsschadens und wies die Sache zur ergänzenden Abklärung und zu neuem Entscheid an die IV-Stelle zurück. Vorher hatte es einen Bericht der Psychiatrischen Klinik X._ vom 3. Dezember 2003 sowie des Regionalen Ärztlichen Dienstes (RAD) der Invalidenversicherung vom 16. Dezember 2003 zu den Akten genommen. B. Die dagegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 4. Februar 2004 teilweise gut, bejahte das Bestehen eines invalidisierenden Gesundheitsschadens und wies die Sache zur ergänzenden Abklärung und zu neuem Entscheid an die IV-Stelle zurück. Vorher hatte es einen Bericht der Psychiatrischen Klinik X._ vom 3. Dezember 2003 sowie des Regionalen Ärztlichen Dienstes (RAD) der Invalidenversicherung vom 16. Dezember 2003 zu den Akten genommen. C. Unter Beilage eines Berichtes des Dr. med. B._, FMH für Psychiatrie und Psychotherapie, vom 12. März 2004 führt das Bundesamt für Sozialversicherung (BSV) Verwaltungsgerichtsbeschwerde mit dem Antrag, den vorinstanzlichen Entscheid aufzuheben. M._ lässt auf Abweisung der Verwaltungsgerichtsbeschwerde schliessen, während die IV-Stelle deren Gutheissung beantragt. 