Unterstützungszuständigkeit für A._, hat sich ergeben: A.- Der querschnittgelähmte A._, der eigenen Angaben zufolge aus Israel stammt und palästinensischer Herkunft sein will, gelangte zu einem unbekannten Zeitpunkt illegal in die Schweiz. Am 3. August 1992 wurde er auf dem Hauptbahnhof Zürich mittellos und ohne Ausweispapiere aufgegriffen. Abklärungen zur Feststellung seiner Identität scheiterten an der fehlenden Mitwirkung von A._ oder blieben, wie insbesondere Anfragen bei zwölf nationalen Interpol-Stellen, bisher ohne Erfolg. Auf Antrag der Fremdenpolizei des Kantons Thurgau ist A._ am 17. Oktober 1995 vom Bundesamt für Flüchtlinge vorläufig aufgenommen und dem Kanton Thurgau zugewiesen worden. A._ musste in der Schweiz wegen seines schlechten Gesundheitszustands umgehend hospitalisiert werden. Er wurde zunächst (ab 3. August 1992) am Universitätsspital Zürich (Wiederherstellungschirurgie) und vom 1. bis 16. September 1992 in der Klinik Balgrist in Zürich (Paraplegikerzentrum) und danach (16. September bis 7. Oktober 1992) wiederum am Universitätsspital Zürich behandelt. Anschliessend wurde er in das private Alters-, Pflege- und Krankenheim Neutal in Berlingen/TG und dann (am 2. Juni 1993) in das Asylbewerber-Durchgangsheim in Embrach/ZH eingewiesen. Ob die dortigen Einrichtungen den Bedürfnissen eines Invaliden genügten, ist zwischen den beteiligten Kantonen strittig. Fest steht, dass A._ in der Folge - mit ausdrücklichem Einverständnis des Heimleiters von Embrach - von der in Kreuzlingen/TG wohnhaften Krankenpflegerin X._, die er im Pflegeheim Neutal kennengelernt hatte, privat aufgenommen und betreut wurde. Die notwendige ärztliche Behandlung wie auch zwei weitere Spitalaufenthalte (im März 1994 und von November 1994 bis Februar 1995) erfolgten jedoch im Kanton Zürich (Spital Bülach). Im Anschluss an den Spitalaufenthalt vom März 1994 wurde A._ im Invaliden-Wohn- und Arbeitszentrum Wetzikon/ZH untergebracht; danach hielt er sich bis zur erneuten Spitaleinweisung wiederum bei X._ in Kreuzlingen auf. Sie übernahm im Februar 1995 - nach Absprache mit den zuständigen Stellen des Spitals Bülach/ZH - auch die pflegerische Nachbetreuung (Ausheilen einer offenen Wunde). Am 10. Mai 1995 musste A._, der inzwischen bei einem Arzt in Kreuzlingen in Behandlung stand, auf dessen Veranlassung ins Kantonsspital Münsterlingen/TG eingeliefert werden. B.- Die Fürsorgekommission der Stadt Kreuzlingen wies am 13. Juli 1995 ein Gesuch des Kantonsspitals Münsterlingen um Kostengutsprache für die stationäre Behandlung von A._ ab, da seine Hospitalisation im Kanton Thurgau mit Wissen (oder gar auf Anweisung) der Zürcher Behörden erfolgt sei, sodass Zürich als effektiver Aufenthaltskanton weiterhin für die Erteilung der nachgesuchten Kostengutsprache zuständig sei. Den hiergegen von A._ erhobenen Rekurs hiess das Departement für Finanzen und Soziales des Kantons Thurgau am 27. November 1995 mit der Begründung gut, einer unterstützungsbedürftigen Person dürfe die notwendige Hilfe nicht deswegen versagt bleiben, weil zwei oder mehrere Gemeinwesen diesbezüglich in einen negativen Kompetenzkonflikt verstrickt seien. A._ habe vor seinem Eintritt ins Kantonsspital Münsterlingen in Kreuzlingen gelebt und somit dort zumindest einen "provisorischen" Aufenthaltsort gehabt. Die Fürsorgekommission Kreuzlingen habe ihm deshalb - als die zuerst um Hilfe angegangene Behörde - bis zur rechtskräftigen Entscheidung der Zuständigkeitsfrage die erforderliche Unterstützung unpräjudiziell zu gewähren. Bereits am 18. Juli 1995 hatte das Fürsorgeamt des Kantons Thurgau dem Kanton Zürich vorsorglich eine Unterstützungsanzeige nach Art. 31 des Bundesgesetzes vom 24. Juni 1977 über die Zuständigkeit für die Unterstützung Bedürftiger (Zuständigkeitsgesetz, ZUG; SR 851. 1) unterbreitet. Dagegen erhob der Kanton Zürich am 21. Juli 1995 Einsprache gemäss Art. 33 ZUG, die das Fürsorgeamt des Kantons Thurgau am 26. September 1995 abwies. Die Direktion der Fürsorge des Kantons Zürich erhob daraufhin Beschwerde nach Art. 34 Abs. 2 ZUG beim Eidgenössischen Justiz- und Polizeidepartement. Dieses hob den Beschluss des Kantons Thurgau vom 26. September 1995 mit Entscheid vom 28. Dezember 1999 auf. C.- Das Departement für Finanzen und Soziales des Kantons Thurgau hat am 2. Februar 2000 Verwaltungsgerichtsbeschwerde beim Bundesgericht eingereicht mit dem Antrag, den vorinstanzlichen Entscheid aufzuheben und festzustellen, der Kanton Zürich sei für die Unterstützung von A._ zuständig und habe dem Kanton Thurgau die seit dem 10. Mai 1995 für A._ aufgelaufenen Kosten zurück zu vergüten. Die Direktion für Soziales und Sicherheit des Kantons Zürich (an Stelle der auf Ende 1998 aufgehobenen Direktion der Fürsorge) beantragt die Abweisung der Verwaltungsgerichtsbeschwerde. Den gleichen Antrag stellt das Eidgenössische Justiz- und Polizeidepartement. 