Sachverhalt: A. Mit Verfügung vom 2. Mai 2005 forderte die Unia Arbeitslosenkasse von Y._ zu Unrecht ausbezahlte Arbeitslosenentschädigung in Höhe von Fr. 10'624.55 zurück. Ein daraufhin gestelltes Erlassgesuch hiess die Kantonale Amtsstelle für Arbeitslosenversicherung (KAST) Basel-Stadt mit Verfügung vom 6. Juni 2006 insoweit gut, als sie die Rückerstattungsforderung auf Fr. 9'447.60 reduzierte. Daran hielt sie mit Einspracheentscheid vom 5. Juli 2006 fest. B. In Gutheissung der hiegegen erhobenen Beschwerde hob das Sozialversicherungsgericht Basel-Stadt den Einspracheentscheid vom 5. Juli 2006 unter Bejahung der Gutgläubigkeit beim Leistungsbezug auf und wies die Sache mit Entscheid vom 21. November 2006 an die Verwaltung zurück, damit diese prüfe, ob die Rückerstattung eine grosse Härte bedeuten würde. C. Die KAST führt Verwaltungsgerichtsbeschwerde mit dem Begehren um Aufhebung des kantonalen Entscheids. Y._ schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Staatssekretariat für Wirtschaft verzichtet auf eine Vernehmlassung. 