Sachverhalt: A. Der 1981 geborene kroatische Staatsangehörige X._ reiste im Alter von rund zehn Jahren im Rahmen des Familiennachzugs in die Schweiz ein und erhielt hier die Niederlassungsbewilligung. Er ist ledig, hat aber zwei Kinder (geb. 2005 und 2007), welche bei ihrer Mutter in A._ leben. Das Verhalten von X._ in der Schweiz gab Anlass zu schweren Klagen: - Mit Strafverfügung des Bezirksamtes A._ vom 16. September 2002 wurde er wegen einer massiven Überschreitung der zulässigen Höchstgeschwindigkeit (mindestens 122 km/h statt der erlaubten 80 km/h) zu einer Busse von Fr. 1'400.-- verurteilt; - Mit Strafverfügung des Bezirksamtes A._ vom 13. Dezember 2002 wurde er wegen einer Überschreitung der zulässigen Höchstgeschwindigkeit innerorts (mindestens 73 km/h statt der erlaubten 50 km/h) zu einer Busse von Fr. 350.-- verurteilt; - Mit Strafverfügung des Bezirksamtes A._ vom 25. März 2003 wurde er wegen Nichttragens der Sicherheitsgurten zu einer Busse von Fr. 60.-- verurteilt; - Mit Strafverfügung des Bezirksamtes A._ vom 13. Oktober 2003 wurde er wegen Nichttragens der Sicherheitsgurten zu einer Busse von Fr. 60.-- verurteilt; - Am 8. Februar 2006 sprach das Bezirksgericht A._ X._ wegen mehrfachen Diebstahls, mehrfacher Sachbeschädigung, mehrfachen Hausfriedensbruchs und Fahrens trotz Entzugs des Führerausweises schuldig und es verurteilte ihn zu einer Gefängnisstrafe von sieben Wochen sowie zu einer Busse von Fr. 400.--. Als Folge dieser Delinquenz wurde X._ am 30. März 2006 vom Ausländeramt des Kantons Thurgau verwarnt. Es wurde ihm klar verständlich gemacht, dass er sich in Zukunft in jeder Hinsicht klaglos zu verhalten habe. Für den Fall weiterer Gesetzesverstösse drohte ihm das Ausländeramt die Ausweisung aus der Schweiz an. Nichtsdestoweniger verübte X._ zahlreiche weitere strafbare Handlungen: - Mit Strafverfügung vom 30. Oktober 2006 wurde er vom Bezirksamt A._ des Ungehorsams im Betreibungsverfahren (Nichtbefolgen von betreibungsamtlichen Vorladungen und Verweigerung der Auskunftserteilung betreffend Einkommens- und Vermögensverhältnisse) schuldig erklärt und zu einer Busse von Fr. 150.-- verurteilt; - Am 18. Dezember 2007 wurde er vom Bezirksamt A._ abermals wegen Ungehorsams im Betreibungsverfahren schuldig gesprochen und mit einer Busse von Fr. 200.-- bestraft; - Am 5. Februar 2008 wurde er vom Bezirksamt B._ wegen Nichttragens der Sicherheitsgurten zu einer Busse von Fr. 60.-- verurteilt; - Am 22. April 2009 wurde er der Widerhandlung gegen das Transportgesetz schuldig erklärt und vom Bezirksamt A._ mit einer Busse von Fr. 60.-- bestraft; - Mit Verfügung der Staatsanwaltschaft des Kantons D._ vom 14. Mai 2009 wurde er wegen Widerhandlungen gegen das Betäubungsmittelgesetz zu einer Busse von Fr. 50.-- verurteilt; - Das Bezirksamt A._ verurteilte ihn am 17. Juni 2009 wegen erneuter Widerhandlung gegen das Betäubungsmittelgesetz zu einer Busse von Fr. 200.--; - Am 26. Juni 2009 wurde er vom Bezirksamt A._ der Widerhandlung gegen das Transportgesetz schuldig erklärt und zu einer Busse von Fr. 120.-- verurteilt; - Mit Strafverfügung vom 18. November 2009 sprach ihn das Bezirksamt A._ des Ungehorsams im Betreibungsverfahren schuldig und es bestrafte ihn mit einer Busse von Fr. 250.--; - Mit Strafverfügung vom 17. Dezember 2009 wurde er durch das Bezirksamt A._ der Widerhandlung gegen das Ausländergesetz schuldig erkannt und zu einer Busse von Fr. 120.-- verurteilt; - Mit Strafverfügung vom 21. Januar 2010 wurde er durch das Bezirksamt C._ der Widerhandlung gegen das Ausländergesetz schuldig erkannt und zu einer Busse von Fr. 120.-- verurteilt; - Am 16. Februar 2010 wurde er vom Bezirksamt C._ der Missachtung einer amtlichen Verfügung schuldig erklärt und zu einer Busse von Fr. 300.-- verurteilt; - Am 20. September 2010 verurteilte ihn das Bezirksamt C._ wegen Widerhandlung gegen das Betäubungsmittelgesetz zu einer Busse von Fr. 120.--; - Am 10. Dezember 2010 verurteilte ihn das Bezirksamt A._ wegen Widerhandlung gegen das Betäubungsmittelgesetz zu einer Busse von Fr. 300.--; Nebst diesen rechtskräftigen Verurteilungen sind gegen X._ noch weitere Strafverfahren wegen Hehlerei und Widerhandlungen gegen das Betäubungsmittelgesetz anhängig. X._ hat sich während seines Aufenthaltes in der Schweiz in beträchtlichem Ausmass verschuldet. Am 23. November 2009 war er beim registerführenden Betreibungsamt A._ mit 17 Betreibungen über insgesamt Fr. 32'684.65 und 16 offenen Verlustscheinen über Fr. 28'055.80 verzeichnet. Per 14. Juni 2010 waren beim Betreibungsamt gar 20 Betreibungen über Fr. 45'986.15 und 20 offene Verlustscheine über Fr. 42'461.45 registriert. Vom 15. Januar 2009 bis zum 30. Juni 2009 musste X._ zudem von der Sozialhilfe der Stadt A._ unterstützt werden. Insgesamt wurden ihm von der öffentlichen Hand Fr. 8'606.10 ausbezahlt. B. Mit Entscheid vom 12. März 2010 widerrief das Migrationsamt des Kantons Thurgau die Niederlassungsbewilligung von X._ und wies ihn zugleich aus der Schweiz weg. Hiergegen rekurrierte X._ ohne Erfolg beim Departement für Justiz und Sicherheit des Kantons Thurgau: Dieses wies den Rekurs am 12. August 2010 ab. Eine daraufhin von X._ erhobene Beschwerde wurde mit Urteil des Verwaltungsgerichts des Kantons Thurgau vom 16. Februar 2011 ebenfalls abgewiesen. C. Mit Eingabe vom 8. April 2011 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er beantragt im Wesentlichen, dass auf den Widerruf seiner Niederlassungsbewilligung zu verzichten sei. Das Verwaltungsgericht und das Migrationsamt des Kantons Thurgau sowie das Bundesamt für Migration schliessen auf Abweisung der Beschwerde. Das Departement für Justiz und Sicherheit des Kantons Thurgau liess sich innert Frist nicht vernehmen. 