Sachverhalt: Sachverhalt: A. Der aus Mazedonien stammende H.X._ (geb. 1950) hielt sich zunächst als Saisonnier und seit 1984 als Jahresaufenthalter in der Schweiz auf. 1988 folgte ihm seine Ehefrau L.X._ (geb. 1962, ebenfalls Staatsangehörige von Mazedonien) mit den gemeinsamen Kindern B._ (geb. 1983), C._ (geb. 1985) und D._ (geb. 1988) im Rahmen des Familiennachzugs; 1989 reiste sodann noch der älteste Sohn A._ (geb. 1979) ein. Der jüngste Sohn E._ wurde 1990 in der Schweiz geboren. Seit dem 9. November 1991 besitzen sämtliche Familienmitglieder die Niederlassungsbewilligung. Am 21. Januar 1997 wurde der älteste Sohn Opfer eines Tötungsdelikts. A. Der aus Mazedonien stammende H.X._ (geb. 1950) hielt sich zunächst als Saisonnier und seit 1984 als Jahresaufenthalter in der Schweiz auf. 1988 folgte ihm seine Ehefrau L.X._ (geb. 1962, ebenfalls Staatsangehörige von Mazedonien) mit den gemeinsamen Kindern B._ (geb. 1983), C._ (geb. 1985) und D._ (geb. 1988) im Rahmen des Familiennachzugs; 1989 reiste sodann noch der älteste Sohn A._ (geb. 1979) ein. Der jüngste Sohn E._ wurde 1990 in der Schweiz geboren. Seit dem 9. November 1991 besitzen sämtliche Familienmitglieder die Niederlassungsbewilligung. Am 21. Januar 1997 wurde der älteste Sohn Opfer eines Tötungsdelikts. B. Am 20. April 1998 wurde H.X._ wegen Beihilfe zu widerrechtlichem Aufenthalt in der Schweiz schuldig gesprochen und zu einer bedingten Gefängnisstrafe von fünf Tagen sowie einer Busse von Fr. 100.-- verurteilt. Mit Strafbescheid vom 29. Juni 1998 wurden H.X._ und L.X._ wegen Betrugs zu fünf bzw. drei Wochen Gefängnis bedingt verurteilt. Am 16. November 1998 wurden die beiden vom Ausländeramt des Kantons St. Gallen fremdenpolizeilich verwarnt mit der Aufforderung, sich inskünftig in jeder Hinsicht klaglos zu verhalten. Mit Schreiben vom 31. März 1999 verwarnte die Schulgemeinde Z._ H. und L.X._ wegen unentschuldigten Fernbleibens der Kinder vom Unterricht. Aus dem soeben erwähnten Grund auferlegte die Gemeinde Z._ den Eheleuten X._ am 7. Februar 2000 eine Busse von Fr. 1'000.--. Eine weitere Bussenverfügung (Fr. 500.--) wegen wiederholter unentschuldigter Schulabsenzen von E._ und B._ folgte am 25. Juli 2000. Am 28. September 2000 drohte das Ausländeramt den Eheleuten X._ die Ausweisung aus der Schweiz an. Das Amt begründete die - rechtskräftig gewordene - Androhung der Ausweisung im Wesentlichen damit, die Eltern verletzten ihre Sorgepflicht gegenüber ihren Kindern. Diese seien unentschuldigt der Schule ferngeblieben, ausserdem störten sie den Schulunterricht erheblich. Die Eltern hätten trotz entsprechender Versuche nicht dazu bewegt werden können, für einen ordnungsgemässen Schulbesuch ihrer Kinder zu sorgen. Am 28. September 2000 drohte das Ausländeramt den Eheleuten X._ die Ausweisung aus der Schweiz an. Das Amt begründete die - rechtskräftig gewordene - Androhung der Ausweisung im Wesentlichen damit, die Eltern verletzten ihre Sorgepflicht gegenüber ihren Kindern. Diese seien unentschuldigt der Schule ferngeblieben, ausserdem störten sie den Schulunterricht erheblich. Die Eltern hätten trotz entsprechender Versuche nicht dazu bewegt werden können, für einen ordnungsgemässen Schulbesuch ihrer Kinder zu sorgen. C. Am 24. Juni 2003 teilte das Ausländeramt des Kantons St. Gallen dem Rechtsvertreter der Familie X._ mit, die Tochter B._ (geb. 1983) solle die Chance erhalten, "hier ihr eigenes Leben aufzubauen", sie habe sich allerdings künftig in jeder Hinsicht klaglos zu verhalten, ansonsten sie ausgewiesen werden könne. Mit zwei separaten Verfügungen vom selben Tag wies das Ausländeramt die übrigen Familienmitglieder - H.X._ sowie L.X._, C._, D._ und E._ - für die Dauer von fünf Jahren aus der Schweiz aus. Einen gegen diese Verfügungen erhobenen Rekurs hiess das Justiz- und Polizeidepartement des Kantons St. Gallen am 15. Januar 2004 teilweise gut, indem es der Tochter C._ (geb. 1985) die Ausweisung aus der Schweiz lediglich androhte und die Dauer der Ausweisung von H.X._, L.X._, D._ und E._ von fünf auf zwei Jahre reduzierte. Eine gegen den Departementsentscheid erhobene Beschwerde wies das Verwaltungsgericht des Kantons St. Gallen am 18. Mai 2004 ab. Eine gegen den Departementsentscheid erhobene Beschwerde wies das Verwaltungsgericht des Kantons St. Gallen am 18. Mai 2004 ab. D. Mit gemeinsamer Eingabe vom 24. Juni 2004 führen H.X._, L.X._, D._ und E._ Verwaltungsgerichtsbeschwerde beim Bundesgericht mit den Anträgen, das Urteil des Verwaltungsgerichts des Kantons St. Gallen vom 18. Mai 2004 aufzuheben und von einer Ausweisung abzusehen. Das Justiz- und Polizeidepartement des Kantons St. Gallen beantragt, die Beschwerde abzuweisen. Das Verwaltungsgericht des Kantons St. Gallen stellt denselben Antrag, ebenso das Bundesamt für Zuwanderung, Integration und Auswanderung. 