Sachverhalt: A. I._ war als Teilzeitangestellte in den Firmen T._ AG, (Reinigungsdienst), Die L._ AG, (Hauswart im Nebenamt), und V._ AG, (Reinigungsdienst), tätig. Als sie die Stelle in den beiden erstgenannten Betrieben verloren hatte, meldete sie sich am 19. Februar 2003 bei der Arbeitslosenversicherung und erhielt in der Folge von der Arbeitslosenkasse UNIA ab Februar 2003 Taggelder ausbezahlt. Im September 2004 bemerkte die Arbeitslosenkasse, dass I._ weiterhin ihrer Arbeit in der V._ AG nachging, die dabei erzielten Einkünfte jedoch weder im Anmeldeformular vom 19. Februar 2003 noch in den monatlich auszufüllenden Formularen "Angaben der versicherten Person für den Monat ..." deklariert hatte. Diese hatten dementsprechend bei der Festsetzung des versicherten Verdienstes und auch bei der monatlichen Ermittlung des Taggeldanspruches keine Berücksichtigung gefunden. Im Rahmen der darauf vorgenommenen neuen Berechnung bezog die Kasse daher den von der V._ AG ausgerichteten Lohn in den versicherten Verdienst mit ein und brachte das dort realisierte Einkommen als Zwischenverdienst in Abzug. Am 25. Februar 2005 erliess die Kasse eine Verfügung folgenden Inhalts: " Rückforderung von zuviel ausbezahlten Leistungen der Versicherung im Betrag von Fr. 3777.30, wovon Fr. 3170.95 direkt verrechnet wurden." Diese Rückforderungsverfügung ist unangefochten in Rechtskraft erwachsen. Ein am 28. Februar 2005 gestelltes Erlassgesuch lehnte das Amt für Arbeit des Kantons St. Gallen mit Verfügung vom 7. Juli 2005 mangels Gutgläubigkeit beim Leistungsbezug ab. Daran hielt es mit Einspracheentscheid vom 4. November 2005 fest. B. Auf Beschwerde hin stellte das Versicherungsgericht des Kantons St. Gallen fest, angesichts der von der Arbeitslosenkasse vorgenommenen Verrechnungen könne ein grosser Teil der Rückerstattungsschuld als getilgt gelten, sodass es im Rechtsmittelverfahren nur noch um den Erlass einer verbleibenden Restforderung über Fr. 168.05 gehe. Diesbezüglich bejahte es mit Entscheid vom 21. Dezember 2006 die Gutgläubigkeit beim Leistungsbezug und wies die Sache an die Verwaltung zurück, damit diese das Vorliegen einer grossen Härte der Rückerstattung prüfe. C. Mit Verwaltungsgerichtsbeschwerde lässt I._ beantragen, "das Erlassgesuch ... sei vollumfänglich, jedenfalls zumindest aber im Umfang von Fr. 1878.85 gutzuheissen, bzw. gegenüber der Beschwerdeführerin sei auf eine Rückforderung in entsprechendem Umfang zu verzichten, und die bereits von der UNIA Arbeitslosenkasse verrechnete Rückforderungssumme sei an die Beschwerdeführerin auszurichten"; eventuell sei die "Prozedur" zur Vornahme weiterer Abklärungen und zur Neubeurteilung an die Vorinstanz oder an die Verwaltung zurückzuweisen. Das kantonale Amt für Arbeit stellt den Antrag, es sei festzustellen, "dass Erlassgegenstand der Rückforderungsbetrag von Fr. 3777.30 ist" und "dass auf die Rückforderung infolge des fehlenden guten Glaubens nicht verzichtet werden kann". Das Staatssekretariat für Wirtschaft verzichtet auf eine Vernehmlassung. 