Sachverhalt: A. Der aus dem Kosovo stammende A.X._ (geb. 1967) heiratete im Jahre 1990 seine Landsfrau Y._. Aus dieser Ehe entstammen der Sohn B.X._ (geb. 26. August 1991) und die Tochter C.X._ (geb. 25. August 1995). Die Ehe wurde im September 2001 geschieden, wobei die elterliche Sorge der Kinder dem Vater anvertraut wurde. Im Dezember 2006 heiratete A.X._ in Steckborn (TG) die Schweizer Staatsbürgerin Z._ (geb. 1950), worauf er im Januar 2007 eine - in der Folge jährlich verlängerte - Aufenthaltsbewilligung für den Kanton Thurgau erhielt. Am 26. März 2007 ersuchte A.X._ um den Nachzug seiner beiden Kinder. Nachdem das Migrationsamt des Kantons Thurgau die Ablehnung des Gesuchs in Aussicht gestellt hatte, zog A.X._ dieses mit Schreiben vom 9. November 2007 zurück und bat um Erstattung des insoweit geleisteten Kostenvorschusses. Mit schriftlicher Eingabe vom 27. Dezember 2007 beantragte er erneut die Bewilligung des Familiennachzugs der Kinder. Kurz zuvor hatte er sich deswegen bereits mündlich an das kantonale Migrationsamt gewendet. Dieses lehnte das Gesuch am 28. Mai 2008 ab. Die hiegegen erhobenen Rechtsmittel wurden vom Thurgauer Departement für Justiz und Sicherheit am 7. April 2009 und vom Verwaltungsgericht des Kantons Thurgau am 25. November 2009 abgewiesen. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 27. Januar 2010 beantragen A.X._ und seine beiden Kinder B.X._ und C.X._ dem Bundesgericht, den Entscheid des Verwaltungsgerichts aufzuheben und das Familiennachzugsgesuch "vom 26.3.2007 gutzuheissen", den Kindern die Einreise in die Schweiz und ihren Verbleib beim Vater zu gestatten. Eventuell sei die Sache an das Verwaltungsgericht zurückzuweisen mit der Weisung, neu zu entscheiden. Sämtliche kantonalen Vorinstanzen - mithin das Migrationsamt, das Departement für Justiz und Sicherheit sowie das Verwaltungsgericht - stellen den Antrag, die Beschwerde abzuweisen. Das Bundesamt für Migration hat sich nicht vernehmen lassen. Mit Eingabe vom 27. Mai 2010 hat der Verfahrensvertreter der Beschwerdeführer aufforderungsgemäss eine Vollmacht nachgereicht. 