Sachverhalt: A. Der aus dem Kosovo stammende X._ (geb. 1977) reiste am 21. März 1991 im Rahmen des Familiennachzugs zu seinen Eltern in die Schweiz ein. Am 14. Juni 1995 erhielt er die Niederlassungsbewilligung. Bereits 1998 erging gegen ihn eine erste strafrechtliche Verurteilung wegen versuchten Erschleichens eines Ausweises (Strafe: 14 Tage Gefängnis bedingt und Busse von Fr. 800.--). X._ wurde in den folgenden Jahren weiter straffällig; es kamen u.a. Verurteilungen wegen mehrfacher Veruntreuung, Verstössen gegen das Strassenverkehrsgesetz und wegen Betreibungsdelikten hinzu. Am 29. Juni 2006 schliesslich verurteilte ihn das Obergericht des Kantons Aargau in zweiter Instanz u.a. wegen Brandstiftung, Sachbeschädigung, Nötigung und mehrfacher Urkundenfälschung zu einer Zuchthausstrafe von 2 3/4 Jahren. Gegen X._ liefen sodann mehrere Betreibungen, und es bestanden im Jahre 2006 Verlustscheine in der Höhe von Fr. 7'240.60. B. Nachdem das Migrationsamt des Kantons Aargau X._ das rechtliche Gehör gewährt hatte, wies es ihn mit Verfügung vom 15. Januar 2007 auf unbestimmte Dauer aus der Schweiz aus. Das Migrationsamt erwog im Wesentlichen, X._ habe sich von den ersten strafrechtlichen Verurteilungen nicht beeindrucken lassen und weiter delinquiert. Auch habe er seine finanziellen Verpflichtungen nicht restlos erfüllt. Aus seinem bisherigen Verhalten könne nicht geschlossen werden, dass er in der Schweiz besonders integriert wäre. Das öffentliche Interesse an einer Ausweisung überwiege daher seine privaten Interessen an einem weiteren Verbleib in der Schweiz. Eine gegen diese Verfügung erhobene Einsprache beim Migrationsamt blieb erfolglos, und am 14. September 2007 wies das Rekursgericht im Ausländerrecht des Kantons Aargau eine gegen den Einspracheentscheid vom 27. Juni 2007 gerichtete Beschwerde ebenfalls ab. C. Mit Eingabe vom 17. Oktober 2007 führt X._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Anträgen, das Urteil des Rekursgerichts im Ausländerrecht des Kantons Aargau vom 14. September 2007 aufzuheben. Sodann sei von einer Ausweisung abzusehen und eine solche - verbunden mit einer Verwarnung - lediglich anzudrohen. Das Migrationsamt des Kantons Aargau hat auf Vernehmlassung verzichtet. Das Rekursgericht im Ausländerrecht des Kantons Aargau beantragt, die Beschwerde abzuweisen. Das Bundesamt für Migration stellt denselben Antrag. D. Mit unaufgefordert eingereichter Eingabe vom 5. November 2007 hat sich X._ noch einmal geäussert und das Bundesgericht darum gebeten, ihm "eine Chance zu geben". 