Sachverhalt: A. A.a Mit Schreiben vom 29. Juni 2009 machte die Staatsanwaltschaft des Kantons St. Gallen, Wirtschaftsdelikte, die Eidgenössische Finanzmarktaufsicht (FINMA) auf die Geschäftstätigkeit der A._ AG mit Sitz in X und Domizil in X aufmerksam. Die FINMA eröffnete daraufhin am 24. August 2009 ein Untersuchungsverfahren gegen die A._ AG, die B._ GmbH mit Sitz in X, die C._ AG, Marshall Islands, und die D._ Ltd., Marshall Islands, und setzte eine Untersuchungsbeauftragte ein. Den fraglichen Gesellschaften wurden jegliche Entgegennahme von Publikumseinlagen und jegliche Werbung dafür untersagt. Das Verfahren wurde später auf weitere Gesellschaften ausgeweitet, nämlich die B._ Holding AG, Marshall Islands, die F._ AG, Marshall Islands, die G._ Ltd., Marshall Islands, die H._ Ltd., Marshall Islands, und die I._ Ltd., Marshall Islands. Im Verlauf des Verfahrens schlugen die involvierten Gesellschaften Massnahmen zur Sicherung der Darlehen der Anleger sowie zur Abwendung eines Konkurses vor, die über die beiden schweizerischen Gesellschaften ablaufen sollten. A.b Gemäss einer Eingabe der betroffenen Gesellschaften vom 19. November 2009 hatte die A._ AG im damaligen Zeitpunkt gegenüber der K._ AG, in X, bzw. L._ AG, Marshall Islands, Darlehensverbindlichkeiten von Euro 1'005'000.-- und besass Immobilien im Wert von ca. Euro 800'000.--. Die B._ GmbH hatte gegenüber den gleichen Gesellschaften Darlehensverbindlichkeiten von Euro 878'000.-- und hielt eine Forderung gegenüber M._ mit Wohnsitz in Moskau über Fr. 900'000.-- samt Zinsen. A.c Am 23. November 2009 fand eine Besprechung zwischen Vertretern der FINMA sowie solchen der betroffenen Gesellschaften statt, wobei auf Seiten der Gesellschaften namentlich J._ teilnahm. Dieser schlug unter anderem die Rückzahlung sämtlicher auf Seite der Gesellschaften bestehender Darlehen unter seiner Mithilfe vor. Auch zeigte er sich bereit, einen Teil des Überschusses (nach Kündigung und Rückzahlung der Darlehen) ab Konten der beteiligten Gesellschaften bei der N._bank in Nikosia, Zypern, auf Schweizer Konten der B._ GmbH zu überweisen, um damit die notwendige Liquidität für eine ordentliche Liquidation sicherzustellen. Der Ablauf der Rückabwicklung wurde protokollarisch festgehalten, wobei in Ziff. 1 die Information der Kunden bis Ende November 2009 festgeschrieben wurde. Die Ziffern 2-5 hatten im Wesentlichen den folgenden Inhalt: 2. Ende November 2009: Kündigung der Festgelder auf Konten der auf den Marshall Islands domizilierten Gesellschaften bei der N._bank in Nikosia spätestens per 31. Dezember 2009; 3. Ab 2./3. Januar 2010 bis voraussichtlich Ende Januar 2010: Rücküberweisung der Beträge an Kunden durch J._; 4. Ab Januar 2010: Bestätigung der N._bank für Überweisung des Betrages an jeden einzelnen Kunden ("Swiftkopie"); 5. 31. März 2010: Bestätigung der Untersuchungsbeauftragten zuhanden der FINMA, dass die Rückabwicklung sämtlicher Darlehen zugunsten der involvierten Gesellschaften abgeschlossen sei. A.d Mit Schreiben vom 30. November 2009 erklärte sich die FINMA mit dem vereinbarten Vorgehen grundsätzlich einverstanden, hielt jedoch fest, die Liquidation der Gesellschaften in der Schweiz und allenfalls der Zweigniederlassungen könne nicht deren Organen überlassen werden, weshalb sie dafür einen Liquidator bestimmen werde. Am 11. Dezember 2009 informierten die Gesellschaften die FINMA über den Stand der Rückabwicklung. Dabei wurde in Aussicht gestellt, die provisorischen Liquidationseröffnungsbilanzen der beiden Schweizer Gesellschaften lägen anfangs des neuen Jahres vor. Später wurden diese per Ende Januar 2010 angekündigt. Am 11. Januar 2010 meldete ein Investor der Untersuchungsbeauftragten, sein Guthaben sei immer noch ausstehend. Gleichentags machte die FINMA die Untersuchungsbeauftragte darauf aufmerksam, dass die N._bank in Nikosia möglicherweise keine gültige Lizenz habe. In der Folge ergaben Recherchen der Untersuchungsbeauftragten, dass die N._bank zwar über eine Lizenz verfügte, aber selbst einen Sanierungsfall darstellte. A.e Am 12. Januar 2010 wurde der FINMA bei einem telefonischen Gespräch von der Rechtsvertreterin der beteiligten Gesellschaften mitgeteilt, bisher seien keine Rückzahlungen erfolgt, die ersten Rückzahlungen seien in den nächsten Tagen vorgesehen und die Liquidationseröffnungsbilanzen der beiden Schweizer Gesellschaften würden per Ende Januar 2010 erstellt. Mit E-Mail vom 14. Januar 2010 forderte die FINMA die betroffenen Gesellschaften auf, umgehend, d.h. bis spätestens zum 18. Januar 2010, die Salden auf den Konten der beiden Schweizer Gesellschaften (im Betrag von Euro 165'401.89 bzw. Euro 61'458.17) bei der N._bank in Nikosia auf Konten der UBS bzw. der Thurgauer Kantonalbank in der Schweiz zu überweisen. A.f In der Folge ergab sich ein reger Telefon- und Mail-Verkehr zwischen der FINMA, der Untersuchungsbeauftragten und den involvierten Gesellschaften. Am 20. Januar 2010 teilte die FINMA diesen mit, dass die Salden bei der N._bank in Nikosia bis spätestens zum 25. Januar 2010, 12.00 Uhr, auf Schweizer Konten zu überweisen seien. Die UBS AG informierte per Mail vom 25. Januar 2010, 15.50 Uhr, darüber, dass um 13.21 Uhr ein Betrag von Euro 100'000.-- auf dem Konto der A._ AG eingegangen sei. Die Thurgauer Kantonalbank orientierte am gleichen Tag um 12.08 Uhr sowie um 16.58 Uhr darüber, auf dem Konto der B._ GmbH sei keine Zahlung eingetroffen. B. Mit Verfügung vom 25. Januar 2010 stellte die FINMA fest, dass die neun fraglichen Gesellschaften als Gruppe gewerbsmässig Publikumseinlagen entgegennähmen und damit gegen das Bankengesetz verstiessen. Sie eröffnete gegen die A._ AG und die B._ GmbH auf den 26. Januar 2010, 08.00 Uhr, den Konkurs und setzte die Untersuchungsbeauftragte als Konkursliquidatorin ein. Die schweizerischen Zweigniederlassungen der auf den Marshall Inseln domizilierten Gesellschaften versetzte die FINMA in die aufsichtsrechtliche Liquidation, wobei sie erneut die Untersuchungsbeauftragte als Liquidatorin benannte. Sodann traf die FINMA eine Reihe weiterer Anordnungen. Insbesondere verbot sie J._ unter jeglicher Bezeichnung selbst oder über Dritte Publikumseinlagen gewerbsmässig entgegen zu nehmen oder dafür in irgendeiner Form Werbung zu betreiben, was geeignet zu veröffentlichen sei. C. Am 26. Februar 2010 erhoben die neun betroffenen Gesellschaften sowie J._ Beschwerde beim Bundesverwaltungsgericht. Sie stellten im Wesentlichen die Anträge, die Konkurseröffnung über die A._ AG und die B._ GmbH sei aufzuheben und durch eine ordentliche Liquidation zu ersetzen, was angemessen im Schweizerischen Handelsamtsblatt (SHAB) sowie auf der Homepage der FINMA zu publizieren sei. Ausserdem sei das Werbeverbot gegenüber J._ aufzuheben. Mit Urteil vom 18. November 2010 wies das Bundesverwaltungsgericht die Beschwerde ab, soweit es darauf eintrat. D. Die neun involvierten Gesellschaften sowie J._ führen Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht mit den folgenden Anträgen: "1. Es sei das Urteil ... des Bundesverwaltungsgerichts ... vom 18. November 2010 gegen die Beschwerdeführer/innen 1, 2 und 10 aufzuheben; 2. Die Beschwerdeführer/innen 1, 2 und 10 beantragen ferner was folgt: a) Es seien die Dispositiv Ziffern 2 bis 6 (Konkurseröffnung über die Beschwerdeführerinnen 1 und 2) der Verfügung der Beschwerdegegnerin... vom 25. Januar 2010 aufzuheben. b) Es sei die Auflösung der Beschwerdeführerinnen 1 und 2 durch ordentliche Liquidation zu verfügen und es seien die Handelsregistereinträge der Beschwerdeführerinnen 1 und 2 in diesem Sinne entsprechend abzuändern. c) Es seien der Verwaltungsrat der Beschwerdeführerin 1 für die Beschwerdeführerin 1 und die ehemalige Geschäftsführerin der Beschwerdeführerin 2 für die Beschwerdeführerin 2 zu ermächtigen, die ordentliche Liquidation zu besorgen. d) Es sei die Aufhebung der Konkurseröffnung über die Beschwerdeführerinnen 1 und 2 auf Kosten der Beschwerdegegnerin angemessen zu publizieren, namentlich im SHAB sowie auf der Homepage der Beschwerdegegnerin. e) Es seien die Dispositiv Ziffern 18 bis 20 (Werbeverbot gegen J._) der Verfügung der Beschwerdegegnerin vom 25. Januar 2010 ... aufzuheben. ...". Zur Begründung wird im Wesentlichen geltend gemacht, der Entscheid des Bundesverwaltungsgerichts beruhe auf einer offensichtlich unrichtigen Sachverhaltsfeststellung, verstosse gegen das Bankengesetz, sei unverhältnismässig und verletze den Grundsatz von Treu und Glauben. E. Die FINMA schliesst auf Abweisung der Beschwerde. Das Bundesverwaltungsgericht hat auf eine Vernehmlassung verzichtet. 