Sachverhalt: Sachverhalt: A. Mit Verfügung vom 13. Juli 2001 verpflichtete die Arbeitslosenkasse des Kantons St. Gallen F._ (als Inhaber einer Arbeitnehmende beschäftigenden Einzelfirma), die in den Jahren 1998 bis 2000 bereits ausbezahlten Kurzarbeitsentschädigungen im Betrag von Fr. 52'742.90 zurückzuerstatten. Das Versicherungsgericht des Kantons St. Gallen bestätigte dies am 12. Juni 2002. Dieser Entscheid blieb unangefochten. In der Folge ersuchte die Firma um Erlass der Rückzahlung. Mit Verfügung vom 12. März 2003 lehnte das Amt für Arbeit, St. Gallen, das Erlassgesuch ab, was es mit Einspracheentscheid vom 20. Mai 2003 bestätigte. A. Mit Verfügung vom 13. Juli 2001 verpflichtete die Arbeitslosenkasse des Kantons St. Gallen F._ (als Inhaber einer Arbeitnehmende beschäftigenden Einzelfirma), die in den Jahren 1998 bis 2000 bereits ausbezahlten Kurzarbeitsentschädigungen im Betrag von Fr. 52'742.90 zurückzuerstatten. Das Versicherungsgericht des Kantons St. Gallen bestätigte dies am 12. Juni 2002. Dieser Entscheid blieb unangefochten. In der Folge ersuchte die Firma um Erlass der Rückzahlung. Mit Verfügung vom 12. März 2003 lehnte das Amt für Arbeit, St. Gallen, das Erlassgesuch ab, was es mit Einspracheentscheid vom 20. Mai 2003 bestätigte. B. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 10. März 2004 ab. B. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 10. März 2004 ab. C. Mit Verwaltungsgerichtsbeschwerde lässt F._ den Erlass der Rückforderung beantragen. Gleichzeitig ersucht er um unentgeltliche Prozessführung und Verbeiständung. Das kantonale Amt für Arbeit wie auch das Staatssekretariat für Wirtschaft (seco) verzichten auf eine Vernehmlassung. Das kantonale Amt für Arbeit wie auch das Staatssekretariat für Wirtschaft (seco) verzichten auf eine Vernehmlassung. D. Am 10. November 2004 weist das Eidgenössische Versicherungsgericht das Gesuch um Gewährung der unentgeltlichen Prozessführung und Verbeiständung ab, worauf F._ den einverlangten Kostenvorschuss an die Gerichtskasse leistet. 