Sachverhalt: Sachverhalt: A. Mit Verfügung vom 20. August 1997 forderte die Kantonale Arbeitslosenkasse St. Gallen H._ (geb. 1964) auf, Taggelder der Arbeitslosenversicherung in Höhe von Fr. 25'311.90 zurückzuerstatten, da beim Leistungsbezug vom 1. September 1995 bis 31. Mai 1997 irrtümlich - und entgegen dem Antrag auf Arbeitslosenentschädigung (vom 7. September 1995) - Taggelder auf der Grundlage einer Vollzeitbeschäftigung und nicht eines 50 %-Pensums ausgerichtet worden seien. Dieser Verwaltungsakt blieb unangefochten. Das am 28. August 1997 gestellte Gesuch um Erlass der Rückerstattungsschuld lehnte das Regionale Arbeitsvermittlungszentrum St. Gallen mangels Gutgläubigkeit beim Leistungsbezug ab (Verfügung vom 27. September 2002). A. Mit Verfügung vom 20. August 1997 forderte die Kantonale Arbeitslosenkasse St. Gallen H._ (geb. 1964) auf, Taggelder der Arbeitslosenversicherung in Höhe von Fr. 25'311.90 zurückzuerstatten, da beim Leistungsbezug vom 1. September 1995 bis 31. Mai 1997 irrtümlich - und entgegen dem Antrag auf Arbeitslosenentschädigung (vom 7. September 1995) - Taggelder auf der Grundlage einer Vollzeitbeschäftigung und nicht eines 50 %-Pensums ausgerichtet worden seien. Dieser Verwaltungsakt blieb unangefochten. Das am 28. August 1997 gestellte Gesuch um Erlass der Rückerstattungsschuld lehnte das Regionale Arbeitsvermittlungszentrum St. Gallen mangels Gutgläubigkeit beim Leistungsbezug ab (Verfügung vom 27. September 2002). B. Das Versicherungsgericht des Kantons St. Gallen hiess die hiegegen erhobene Beschwerde gut und schrieb das Gesuch um Erlass als gegenstandslos ab, weil die Rückerstattungsforderung zufolge Vollstreckungsverwirkung untergegangen sei (Entscheid vom 23. Januar 2004). B. Das Versicherungsgericht des Kantons St. Gallen hiess die hiegegen erhobene Beschwerde gut und schrieb das Gesuch um Erlass als gegenstandslos ab, weil die Rückerstattungsforderung zufolge Vollstreckungsverwirkung untergegangen sei (Entscheid vom 23. Januar 2004). C. Das Amt für Arbeit des Kantons St. Gallen führt Verwaltungsgerichtsbeschwerde mit dem Rechtsbegehren, in Aufhebung des kantonalen Gerichtsentscheides sei die Sache zur materiellen Beurteilung an die Vorinstanz zurückzuweisen. H._ lässt auf Abweisung der Verwaltungsgerichtsbeschwerde schliessen. Das Staatssekretariat für Wirtschaft verzichtet auf eine Vernehmlassung. 