Sachverhalt: A. Der serbische Staatsangehörige X._ (geb. 1955) hielt sich in der Schweiz von 1977 bis 1982 als Saisonarbeiter auf. In der Folge wurde ihm eine Aufenthaltsbewilligung und im Sommer 1988 die Niederlassungsbewilligung erteilt. Seit der Trennung im Jahre 2000 von seiner aus dem ehemaligen Jugoslawien stammenden Ehefrau, mit der er einen Sohn hat (geb. 1980), lebt er mit der in der Schweiz niedergelassenen Landsfrau Y._ zusammen. Aus dieser Beziehung ist ebenfalls ein Sohn (geb. 2001) hervorgegangen. Mit Schreiben vom 8. Oktober 1997 teilte ihm das Ausländeramt des Kantons St. Gallen mit, er solle sich inskünftig klaglos verhalten, "insbesondere [seinen] finanziellen Verpflichtungen ordnungsgemäss nachkommen (keine neuen Betreibungsbegehren und Verlustscheine verursachen oder erneut Konkurs anmelden und die bestehenden Schulden nach Möglichkeit sanieren)", falls er nicht mit schwerwiegenden fremdenpolizeilichen Massnahmen rechnen wolle. Dabei bezog sich die Behörde auf fünfzehn Verlustscheine im Gesamtbetrag von rund Fr. 106'000.-- sowie auf die Anfang 1997 erfolgte Einstellung mangels Aktiven des gegen ihn eingeleiteten Konkurses. Am 2. November 2000 verfügte das kantonale Ausländeramt die Ausweisung von X._. Sie stützte diese darauf, dass Letzterer sich nicht um die Tilgung seiner Schulden bemüht habe; die Anzahl der Verlustscheine sei auf 43 und einen Gesamtbetrag von über Fr. 189'000.-- angewachsen. Ausserdem sei X._ von August 1994 bis Dezember 1999 sieben Mal zu Bussen zwischen Fr. 100.-- und 600.-- sowie einmal zu einer Busse von Fr. 5'000.-- verurteilt worden. Auf seinen Rekurs hin sah das kantonale Justiz- und Polizeidepartement am 3. Mai 2001 von der Ausweisung ab, weil ihm diese noch nie vorher mittels einer formellen, anfechtbaren Verfügung angedroht worden sei. Eine solche Androhung sprach das Departement nun ausdrücklich mit seinem Entscheid aus. Es machte X._ darauf aufmerksam, dass er ausgewiesen werden könne, falls er weitere Schulden anhäufe, keine Anstrengungen unternehme, seine Schulden im Rahmen seiner Möglichkeiten abzubauen, oder straffällig werde. Mit Strafbescheid vom 4. Juni 2004 wurde X._ wegen Pfändungsbetrug, Betrug und Ungehorsam gegen amtliche Verfügungen zu einer Gefängnisstrafe von drei Monaten bedingt und zu einer Busse von Fr. 1'200.-- verurteilt. B. Mit Verfügung vom 18. Januar 2007 wies das kantonale Ausländeramt X._ für die Dauer von sieben Jahren aus der Schweiz aus. Zur Begründung bezog es sich auf den Strafbescheid vom 4. Juni 2004. Ausserdem seien seit dem Departementsentscheid vom 3. Mai 2001 weitere Betreibungen angehoben worden und keine Bestrebungen zur Schuldentilgung erkennbar gewesen. Per 10. März 2005 seien 51 Verlustscheine im Gesamtbetrag von über Fr. 213'000.-- verzeichnet. Erst unter dem Druck des laufenden Ausweisungsverfahrens habe X._ mit der Rückzahlung offener Rechnungen begonnen. Auf Rekurs hin verkürzte das kantonale Justiz- und Polizeidepartement mit Entscheid vom 13. Dezember 2007 die Dauer der Ausweisung auf drei Jahre. Die hiegegen beim Verwaltungsgericht des Kantons St. Gallen erhobene Beschwerde blieb erfolglos. C. Mit Beschwerde vom 13. Mai 2008 beantragt X._ dem Bundesgericht, das in dieser Sache ergangene Urteil des Verwaltungsgerichts vom 3. April 2008 aufzuheben und von der Ausweisung abzusehen. D. Das kantonale Sicherheits- und Justizdepartement (vormals Justiz- und Polizeidepartement), das Verwaltungsgericht des Kantons St. Gallen sowie das Bundesamt für Migration ersuchen um Abweisung der Beschwerde. Das kantonale Ausländeramt hat sich nicht vernehmen lassen. E. Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat der Beschwerde mit Verfügung vom 22. Mai 2008 antragsgemäss die aufschiebende Wirkung zuerkannt. 