Kostenersatz in der Unterstützungsangelegenheit G._, hat sich ergeben: A.-Der 1993 geborene G._ lebte zunächst in Kreuzlingen bei seiner Mutter, der auch die elterliche Gewalt bzw. Obhut zusteht. Am 1. September 1996 wurde er bei einer Pflegefamilie in Sulgen fremdplatziert, wofür die Fürsorgekommission der Stadt Kreuzlingen am 11. April 1996 subsidiäre Kostengutsprache erteilt hatte. Am 1. November 1997 zog die Mutter nach Zürich. G._ blieb vorerst bei der bisherigen Pflegefamilie. Da sich das Pflegeverhältnis in dieser Familie aber nicht weiterführen liess, versuchten die Zürcher Fürsorgebehörden zunächst, ihn bei einer Pflegefamilie in Zürich unterzubringen. Vom 26. Februar bis zum 26. Juli 1998 weilte er im Kinderhaus Entlisberg in Zürich; seit dem 27. Juli 1998 ist er im Stadtzürcher Jugendheim Neumünsterallee, Zürich, platziert. B.- Schon am 3. Dezember 1997 hatte das Jugendsekretariat Waidberg in Zürich die Fürsorgekommission Kreuzlingen um Übernahme der anfallenden Fremdplatzierungskosten ersucht. Zur Begründung wies sie darauf hin, dass der Unterstützungswohnsitz G._s nach Art. 7 Abs. 3 lit. c des Bundesgesetzes über die Zuständigkeit für die Unterstützung Bedürftiger vom 24. Juni 1977 (Zuständigkeitsgesetz, ZUG; SR 851. 1) sich weiterhin in Kreuzlingen befinde. Die Fürsorgekommission Kreuzlingen erachtete sich jedoch nicht für zuständig und hielt an diesem Standpunkt auch in der Folge fest. Am 10. September 1998 erstattete die Direktion der Fürsorge des Kantons Zürich dem zuständigen Departement des Kantons Thurgau eine Unterstützungsanzeige gemäss Art. 30 ZUG (Anzeige in Notfällen) und verlangte unter Hinweis auf den nach Art. 7 Abs. 3 lit. c ZUG in Kreuzlingen verbliebenen Unterstützungswohnsitz G._s die Rückerstattung der seit November 1997 bis und mit Juni 1998 aufgelaufenen Kosten von total Fr. 24'629. 80. Innert der 30-tägigen Frist wurde hiegegen weder seitens der Stadt Kreuzlingen noch des Kantons Thurgau Einsprache nach Art. 33 ZUG erhoben. C.- Mit Schreiben vom 30. November 1998 ersuchte die Fürsorge der Stadt Kreuzlingen das Fürsorgeamt des Kantons Thurgau um Einleitung eines Verfahrens um Richtigstellung nach Art. 28 ZUG. Sie machte gestützt auf verschiedene Gründe geltend, dass der vorliegende Fall offensichtlich unrichtig geregelt sei. Das Fürsorgeamt des Kantons Thurgau stellte der Direktion der Fürsorge des Kantons Zürich mit Schreiben vom 17. Dezember 1998 ein entsprechendes Gesuch. Darin legte es unter anderem dar, dass die Interkantonale Vereinbarung über Vergütungen an Betriebsdefizite und die Zusammenarbeit zugunsten von Kinder- und Jugendheimen sowie von Behinderteneinrichtungen vom 2. Februar 1984 (Heimvereinbarung; IHV) anwendbar sei, sodass die Unterstützungswohnsitzgemeinde richtigerweise nur für das Kostgeld von rund Fr. 25.--/Tag aufzukommen habe. Es bezweifelte auch, dass überhaupt eine ununterbrochene Fremdplatzierung im Sinne von Art. 7 Abs. 3 lit. c ZUG vorliege. D.- Gegen dieses Richtigstellungsbegehren erhob die Direktion für Soziales und Sicherheit (bis Ende 1998: Fürsorgedirektion) des Kantons Zürich am 11. Januar 1999 Einsprache nach Art. 33 ZUG beim Fürsorgeamt des Kantons Thurgau. Sie machte geltend, dass die zur Begründung des Richtigstellungsbegehrens herangezogenen Einwände mit fristgerechter Einsprache geltend zu machen gewesen wären, und sie bestritt, dass der vorliegende Fall offensichtlich unrichtig geregelt sei. Die Heimvereinbarung erachtete sie nicht als anwendbar, da diese auf den zivilrechtlichen Wohnsitz abstelle. Der zivilrechtliche Wohnsitz G._s befinde sich bei seiner im Kanton Zürich wohnhaften Mutter. Somit liege insoweit keine ausserkantonale Heimplatzierung im Sinne der Heimvereinbarung vor. E.- Mit Entscheid vom 10. März 1999 wies das Fürsorgeamt des Kantons Thurgau die Einsprache ab. Es erwog im Wesentlichen, dass zufolge falscher Bezeichnung des Unterbringungsortes G._s auf der Unterstützungsanzeige erst nach Ablauf der durch diese Anzeige eröffneten Einsprachefrist erkennbar geworden sei, dass das fragliche Heim auf der Heimliste aufgeführt und somit die Heimvereinbarung anwendbar sei. Dadurch habe sich für die Finanzierung des Heimaufenthalts ein neuer Gesichtspunkt ergeben, der zeige, dass der Fall offensichtlich unrichtig geregelt und eine Richtigstellung gerechtfertigt sei. Die Frage, ob eine ausserkantonale Heimplatzierung vorliege, sei, wenn schon, aus der Optik des unterstützungsrechtlichen Wohnsitzes zu beurteilen. Zudem hätten zwischenzeitliche Abklärungen ergeben, dass keine ununterbrochene Fremdplatzierung vorliege, sodass Kreuzlingen nicht mehr Unterstützungswohnsitz sei und eine Kostenbeteiligung auch deshalb entfalle. F.- Gegen diesen Entscheid beschwerte sich die Direktion für Soziales und Sicherheit des Kantons Zürich beim Eidgenössischen Justiz- und Polizeidepartement. Dieses hiess am 2. September 1999 die Beschwerde gut und hob den Einspracheentscheid des Fürsorgeamtes des Kantons Thurgau vom 10. März 1999 auf. G.- Der Kanton Thurgau, vertreten durch sein Departement für Finanzen und Soziales, führt mit Eingabe vom 1. Oktober 1999 Verwaltungsgerichtsbeschwerde beim Bundesgericht und beantragt: "1. Es sei der Entscheid des EJPD vom 2. September 1999 aufzuheben. 2. Der Beschwerdegegner sei zu verpflichten, ab Unterbringung von G._ im "Stadtzürcher Jugendheim Neumünsterallee" in Zürich für deren Kosten aufzukommen, soweit diese über das Kostgeld von rund Fr. 25.-- pro Tag hinausgehen; unter Kosten- und Entschädigungsfolgen. " Die Direktion für Soziales und Sicherheit des Kantons Zürich sowie das Eidgenössische Justiz- und Polizeidepartement schliessen auf Abweisung der Beschwerde. 