Sachverhalt: A. Der 1978 geborene kosovarische Staatsangehörige X._ reiste 1991, im Alter von 13 Jahren, im Rahmen des Familiennachzugs in die Schweiz ein. Er wurde in die Niederlassungsbewilligung seines Vaters einbezogen. Seither wurde X._ wiederholt straffällig: Am 6. November 1998 verurteilte ihn das Untersuchungsrichteramt I Berner Jura-Seeland wegen grober Verletzung der Verkehrsregeln zu einer bedingt vollziehbaren Gefängnisstrafe von drei Tagen sowie zu einer Busse von Fr. 300.--; Mit Strafbefehl des Bezirksamtes Aarau vom 23. Februar 2000 wurde er wegen des Überlassens eines Personenwagens an eine Person ohne Führerausweis mit einer Busse von Fr. 400.-- bestraft; Das Bezirksstatthalteramt Liestal sprach ihn am 30. Oktober 2000 der einfachen Verletzung von Verkehrsregeln schuldig und verurteilte ihn zu einer Busse von Fr. 400.--; Am 19. Januar 2001 verurteilte ihn das Untersuchungsrichteramt Solothurn wegen Verletzung der Verkehrsregeln und Fahrens eines Motorfahrzeugs trotz Entzugs des Führerausweises zu einer bedingt vollziehbaren Haftstrafe von zehn Tagen sowie zu einer Busse von Fr. 300.--; Am 14. Januar 2002 wurde er in Frankreich wegen des Besitzes von Betäubungsmitteln zu einer Gefängnisstrafe von zwei Monaten verurteilt; Am 30. Mai 2002 wurde er in Frankreich wegen Drogenhandels zu einer Gefängnisstrafe von vier Jahren, wovon ein Jahr mit Strafaufschub, verurteilt; Das Arrondissement judiciaire I Courtelary-Moutier-La Neuveville verurteilte ihn am 10. Dezember 2004 wegen bandenmässigem Diebstahl (teilweise Versuch hierzu) und mehrfacher Sachbeschädigung zu einer bedingt vollziehbaren Gefängnisstrafe von sechs Monaten und sprach einen bedingt vollziehbaren Landesverweis von drei Jahren aus; Mit Urteil vom 23. Mai 2006 sprach ihn das Bezirksgericht Kulm des mehrfachen bandenmässigen Diebstahls, der mehrfachen Sachbeschädigung sowie des mehrfachen Hausfriedensbruchs schuldig und verurteilte ihn zu einer (unbedingten) Gefängnisstrafe von sechs Monaten, als Zusatzstrafe zum Urteil des Arrondissement judiciaire I Courtelary-Moutier-La Neuveville vom 10. Dezember 2004; Die Cour d'assises Genève verurteilte ihn wegen Verbrechen gegen das Betäubungsmittelgesetz am 2. November 2006 zu einer Gefängnisstrafe von zwei Jahren, als Zusatzstrafe zum Urteil des Bezirksgerichts Kulm vom 23. Mai 2006. B. Nachdem er bereits mit Schreiben vom 7. Dezember 1998 und vom 4. Januar 2005 wegen der von ihm begangenen Delikte verwarnt und auf die Möglichkeit von fremdenpolizeilichen Fernhaltemassnahmen hingewiesen worden war, verfügte das Departement des Innern des Kantons Solothurn, Amt für öffentliche Sicherheit, Abteilung Ausländerfragen, am 3. September 2008 den "Widerruf der Niederlassungsbewilligung" von X._ und dessen "Wegweisung" aus der Schweiz. Hiergegen beschwerte sich X._ beim Verwaltungsgericht des Kantons Solothurn. Dieses wies die Beschwerde in seinem Urteil vom 10. Dezember 2008 vollumfänglich ab. C. Mit Eingabe vom 30. Januar 2009 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er beantragt im Wesentlichen die Aufhebung des verwaltungsgerichtlichen Urteils sowie der Verfügung des Departementes des Innern vom 3. September 2008. Eventualiter sei die Angelegenheit zur Neubeurteilung an die Vorinstanz zurückzuweisen. Das Verwaltungsgericht, das Departement des Innern des Kantons Solothurn und das Bundesamt für Migration schliessen auf Abweisung der Beschwerde. Mit Verfügung vom 6. Februar 2009 erkannte der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde aufschiebende Wirkung zu. 