Sachverhalt: Sachverhalt: A. Mit in Rechtskraft erwachsener Verfügung vom 4. Dezember 2000 forderte die Arbeitslosenkasse SMUV, Bern, von dem 1946 geborenen W._ Taggelder im Betrag von Fr. 4510.70, welche sie für die Zeit von November und Dezember 1999 zu viel ausgerichtet hatte, als unrechtmässig bezogen zurück. Auf die hiegegen beim Versicherungsgericht des Kantons Aargau erhobene Beschwerde trat dieses mit Entscheid vom 30. Januar 2001 nicht ein und überwies die Streitsache zur Prüfung der Erlassfrage an das Industrie-, Gewerbe- und Arbeitsamt des Kantons Aargau (KIGA; heute Amt für Wirtschaft und Arbeit, AWA). Dieses lehnte den beantragten Erlass der Rückerstattungsschuld mangels Gutgläubigkeit des Leistungsempfängers ab (Verfügung vom 9. August 2002). A. Mit in Rechtskraft erwachsener Verfügung vom 4. Dezember 2000 forderte die Arbeitslosenkasse SMUV, Bern, von dem 1946 geborenen W._ Taggelder im Betrag von Fr. 4510.70, welche sie für die Zeit von November und Dezember 1999 zu viel ausgerichtet hatte, als unrechtmässig bezogen zurück. Auf die hiegegen beim Versicherungsgericht des Kantons Aargau erhobene Beschwerde trat dieses mit Entscheid vom 30. Januar 2001 nicht ein und überwies die Streitsache zur Prüfung der Erlassfrage an das Industrie-, Gewerbe- und Arbeitsamt des Kantons Aargau (KIGA; heute Amt für Wirtschaft und Arbeit, AWA). Dieses lehnte den beantragten Erlass der Rückerstattungsschuld mangels Gutgläubigkeit des Leistungsempfängers ab (Verfügung vom 9. August 2002). B. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 22. April 2003 ab. B. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 22. April 2003 ab. C. Mit Verwaltungsgerichtsbeschwerde beantragt W._ erneut den Erlass der Rückerstattungsschuld. Das AWA und das Staatssekretariat für Wirtschaft verzichten auf eine Vernehmlassung. 