Sachverhalt: A. B._ (geb. 1978), mazedonische Staatsangehörige, reiste am 9. Januar 1994 im Rahmen des Familiennachzugs zu ihren Eltern in die Schweiz ein und erhielt eine Aufenthaltsbewilligung. Im Jahr 1999 heiratete sie den ebenfalls aus Mazedonien stammenden A._ (geb. 1978). Dieser reiste am 27. Dezember 1999 in die Schweiz ein und erhielt eine Aufenthaltsbewilligung zum Verbleib bei der Ehefrau. Am 25. Oktober 2001 wurde der Sohn C._, am 26. Mai 2008 die Tochter D._ geboren. Am 26. November 2004 sprach das Ausländeramt des Kantons Thurgau (heute: Migrationsamt Thurgau; nachfolgend: Migrationsamt) gegenüber A._ eine Verwarnung aus und drohte ihm die Wegweisung an mit der Begründung, er sei mit sechs Betreibungen über Fr. 38'807.50 und drei Verlustscheinen über Fr. 34'358.30 verzeichnet. Am 12. April 2006 verwarnte das Migrationsamt A._ erneut: Er sei am 20. Juni 2005 wegen Missbrauchs von Ausweisen und der Nichtabgabe entzogener Kontrollschilder trotz behördlicher Aufforderung mit Fr. 300.-- gebüsst worden. Zudem sei er am 13. Januar 2006 wegen grober Verkehrsregelverletzung mit Fr. 1'100.-- gebüsst worden. Die (schlechte) finanzielle Lage sei seit der ersten Verwarnung relativ stabil geblieben. Am 17. Oktober 2007 gründeten A._ und B._ die G._ GmbH, wobei A._ mit Einzelunterschrift, B._ hingegen nicht zeichnungsberechtigt war. Der am 29. Oktober 2010 über die Gesellschaft verhängte Konkurs wurde am 3. Februar 2011 mangels Aktiven eingestellt. B. Am 29. November 2010 teilte das Migrationsamt A._ und B._ mit, es prüfe die Nichtverlängerung der am 8. Januar 2011 auslaufenden Aufenthaltsbewilligungen, die Wegweisung aus der Schweiz sowie einen Antrag an das Bundesamt für Migration auf Anordnung eines Einreiseverbots, und gewährte ihnen das rechtliche Gehör. A._ und B._ liessen sich mit Stellungnahme vom 7. Januar 2011 vernehmen und beantragten gleichentags die Verlängerung der Aufenthaltsbewilligung bzw. die Erteilung der Niederlassungsbewilligung. Am 18. Februar 2011 wies das Migrationsamt die Gesuche um Verlängerung der Aufenthaltsbewilligung und um Erteilung der Niederlassungsbewilligung ab und wies A._ und B._ sowie deren Kinder C._ und D._ weg. Den dagegen erhobenen Rekurs wies das Departement für Justiz und Sicherheit des Kantons Thurgau (nachfolgend: Justiz- und Sicherheitsdepartement) am 7. Juni 2011 ab. Das Verwaltungsgericht des Kantons Thurgau bestätigte diesen Entscheid auf Beschwerde hin mit Urteil vom 31. August 2011. C. A._ und B._ sowie ihre Kinder C._ und D._ führen Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, der angefochtene Entscheid sei aufzuheben und die Vorinstanz bzw. der Beschwerdegegner sei anzuweisen, ihnen den weiteren Aufenthalt im Kanton Thurgau zu verlängern. Das Migrationsamt und das Justiz- und Sicherheitsdepartement verzichten auf eine Stellungnahme und beantragen die Abweisung der Beschwerde, ebenso das Verwaltungsgericht des Kantons Thurgau. Das Bundesamt für Migration beantragt, auf die Beschwerde sei nicht einzutreten, eventualiter sei diese abzuweisen. A._ und B._ sowie ihre Kinder C._ und D._ lassen sich mit Replik vom 10. Februar 2012 vernehmen. D. Am 3. November 2011 hat der Abteilungspräsident der Beschwerde antragsgemäss aufschiebende Wirkung zuerkannt. 