Sachverhalt: Sachverhalt: A. Der aus Mazedonien stammende X._ (geb. 1981) kam am 26. Januar 2000 im Familiennachzug mit seiner Mutter und vier Geschwistern in die Schweiz, wo er in die Niederlassungsbewilligung des Vaters einbezogen wurde. Am 1. Dezember 2000 fügte er im Rahmen eines Handgemenges einem Widersacher mit einem Messer lebensgefährliche Verletzungen zu. Das Bezirksgericht See sprach ihn hierfür am 4. Dezember 2001 der schweren Körperverletzung schuldig und verurteilte ihn zu einer Gefängnisstrafe von 27 Monaten und einer bedingten Landesverweisung von drei Jahren. Auf Berufung hin reduzierte das Kantonsgericht St. Gallen am 23. Oktober 2002 die Gefängnisstrafe auf zwei Jahre; im Übrigen bestätigte es das erstinstanzliche Urteil. A. Der aus Mazedonien stammende X._ (geb. 1981) kam am 26. Januar 2000 im Familiennachzug mit seiner Mutter und vier Geschwistern in die Schweiz, wo er in die Niederlassungsbewilligung des Vaters einbezogen wurde. Am 1. Dezember 2000 fügte er im Rahmen eines Handgemenges einem Widersacher mit einem Messer lebensgefährliche Verletzungen zu. Das Bezirksgericht See sprach ihn hierfür am 4. Dezember 2001 der schweren Körperverletzung schuldig und verurteilte ihn zu einer Gefängnisstrafe von 27 Monaten und einer bedingten Landesverweisung von drei Jahren. Auf Berufung hin reduzierte das Kantonsgericht St. Gallen am 23. Oktober 2002 die Gefängnisstrafe auf zwei Jahre; im Übrigen bestätigte es das erstinstanzliche Urteil. B. Gestützt hierauf wies das Ausländeramt des Kantons St. Gallen X._ am 7. November 2003 für fünf Jahre aus der Schweiz aus. Das Justiz- und Polizeidepartement und das Verwaltungsgericht des Kantons St. Gallen bestätigten diesen Entscheid auf Rekurs bzw. Beschwerde hin am 22. Januar bzw. 23. April 2004. B. Gestützt hierauf wies das Ausländeramt des Kantons St. Gallen X._ am 7. November 2003 für fünf Jahre aus der Schweiz aus. Das Justiz- und Polizeidepartement und das Verwaltungsgericht des Kantons St. Gallen bestätigten diesen Entscheid auf Rekurs bzw. Beschwerde hin am 22. Januar bzw. 23. April 2004. C. X._ hat hiergegen am 19. Mai bzw. 9. Juni 2004 beim Bundesgericht Verwaltungsgerichtsbeschwerde eingereicht. Er beantragt, das Urteil des Verwaltungsgerichts des Kantons St. Gallen aufzuheben und ihm den weiteren Aufenthalt in der Schweiz - eventuell mit Bedingungen und Auflagen - zu gestatten; subeventuell sei die Ausweisung auf maximal zwei Jahre oder auf eine andere unter fünf Jahren liegende Dauer zu verkürzen. Das Justiz- und Polizeidepartement und das Verwaltungsgericht des Kantons St. Gallen sowie das Bundesamt für Zuwanderung, Integration und Auswanderung beantragen, die Beschwerde abzuweisen. Das Justiz- und Polizeidepartement und das Verwaltungsgericht des Kantons St. Gallen sowie das Bundesamt für Zuwanderung, Integration und Auswanderung beantragen, die Beschwerde abzuweisen. D. Mit Verfügung vom 25. Mai 2004 lehnte es der Abteilungspräsident ab, der Eingabe von X._ aufschiebende Wirkung beizulegen. 