Sachverhalt: A. A.a. Der 1955 geborene A._ ist Bürger von U._/SZ. Seine seit Oktober 2004 von ihm geschiedene Ehefrau und sein 1990 geborener Sohn leben in Thailand. Am 14. Januar 2007 zog A._ von Thailand kommend nach V._. Im Oktober 2007 reiste er nach Thailand, ohne sich in V._ abzumelden. Am 11. Dezember 2008 kehrte er wieder nach V._ zurück. Da er keine eigene Wohnung hatte und die Stadt V._ über keine Notwohnung verfügte, wurde er vom Sozialamt vorübergehend in der Unterkunft B._ in der Stadt W._ einquartiert. Am 11. Februar 2009 stellte das Sozialamt V._ dem Heimatkanton Schwyz eine Unterstützungsanzeige zu und zeigte einen Kostenersatzanspruch ab 11. Dezember 2008 an. A._ musste die Unterkunft B._ am 12. August 2009 wegen ungebührlichen Verhaltens verlassen. In der Folge logierte er in einer Unterkunft für Obdachlose (Unterkunft C._) in der Stadt W._. Am 19. Dezember 2009 bezog er wiederum ein Zimmer in der Unterkunft B._. Am 11. April 2011 wurde A._ in der Stadt W._ angemeldet, und er wurde ab Mai 2011 von den Sozialen Diensten der Stadt W._ unterstützt. Am 18. September 2011 zog er erneut in die Unterkunft C._. Seit Mai 2012 lebt A._ im Männerheim D._ in der Gemeinde X._/SG. A.b. Am 17. Juni 2011 ersuchte das Amt für Gesundheit und Soziales des Kantons Schwyz das Amt für Soziales des Kantons St. Gallen um Richtigstellung der Unterstützungsanzeige vom 11. Februar 2009 mit der Begründung, obwohl die Unterbringung in der Unterkunft B._ anfänglich als Übergangslösung gedacht gewesen sei, halte sich A._ mittlerweile dauernd in der Stadt W._ auf. Dagegen erhob der Kanton St. Gallen am 1. Juli 2011 unter Hinweis auf einen hängigen innerkantonalen Zuständigkeitsstreit zwischen den Städten V._ und W._ vorsorglich Einsprache. Das Verwaltungsgericht St. Gallen kam am 13. November 2012 in jenem Verfahren zum Schluss, dass A._ anfangs April 2011 keinen Unterstützungswohnsitz in der Stadt W._ begründet habe, weshalb die politische Gemeinde V._ auch nach April 2011 unterstützungspflichtig sei. Dieser Entscheid blieb unangefochten. Der Kanton St. Gallen präzisierte daraufhin seine Einsprache am 14. Januar 2013 dahingehend, dass A._ in diesem Kanton über keinen Unterstützungswohnsitz verfüge, da er sich bisher durchwegs in Heimen aufgehalten habe. Das Departement des Innern des Kantons Schwyz wies die Einsprachen des Kantons St. Gallen vom 1. Juli 2011 und vom 14. Januar 2013 am 20. Januar 2014 ab und beschränkte die Kostenersatzpflicht des Kantons Schwyz bis 11. August 2011. B. Die vom Kanton St. Gallen dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 22. Mai 2014 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt der Kanton St. Gallen, der vorinstanzliche Entscheid sei aufzuheben, und es sei festzustellen, dass A._ im Kanton St. Gallen keinen Unterstützungswohnsitz begründet habe. Eventualiter sei die Sache an die Vorinstanz zurückzuweisen, damit diese den Zeitpunkt der Begründung des Unterstützungswohnsitzes festlege. Der Kanton Schwyz schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten ist. Das Verwaltungsgericht verzichtet auf eine Vernehmlassung. 