Sachverhalt: A. M._, geboren 1951, war seit 1. Januar 1983 für die Regionale Amtsvormundschaft der Bezirke Y._ und X._ sowie der Gemeinden Q._, Z._ und V._ als Amtsvormund tätig. Gemäss dem am 25. Januar/26. Februar 2001 erneuerten Arbeitsvertrag übernahm er zudem die Funktion des Leiters der Regionalen Amtsvormundschaft. Nachdem die Betreuungs- und Beratungsaufgaben und damit verbunden auch die administrative Arbeit massiv zugenommen hatten, wurde im Hinblick auf eine allfällige Reorganisation und Personalaufstockung eine externe Beraterfirma beauftragt, eine Analyse zu erstellen, welche im Bericht vom 22. Juli 2004 verschiedene Massnahmen zur Diskussion stellte. Anlässlich der Sitzung der Verwaltungskommission der Regionalen Amtsvormundschaft vom 9. März 2005 wurde darüber informiert, dass M._ beabsichtige, "ins 2. Glied zurück zu treten" und die Sachbearbeitung sowie die Mandatsführung von "Altersbeistandschaften" zu übernehmen. Dem Wunsch wurde insoweit entsprochen, als M._ neu als Sachbearbeiter mit Mandatsführungsaufgaben bei einem Beschäftigungsgrad von insgesamt 100 Stellenprozent (80 % Sachbearbeiter, 20 % Amtsvormund) angestellt wurde. Sein Antrag, die administrative Leitung innerhalb des Dienstes sowie das Sekretariat der Verwaltungskommission beizubehalten, wurde dagegen abgelehnt. Statt dessen wurde auf den 1. September 2005 ein neuer Amtsvormund mit einem Pensum von 80 Prozent angestellt. Im Verlaufe des Jahres 2006 verschlechterte sich die gesundheitliche Situation des M._ zusehends, so dass er ab Mitte Dezember 2006 die Arbeit wegen eines Burnout-Syndroms aussetzen und auf Veranlassung der Präsidentin der Verwaltungskommission psychologisch betreut werden musste. In dessen Abwesenheit fand am 1. März 2007 eine Sitzung der Regionalen Amtsvormundschaft statt, welche unter anderem seinen krankheitsbedingten Ausfall zum Gegenstand hatte. Die Präsidentin der Verwaltungskommission orientierte Ende des Monats sowohl die behandelnde Psychologin wie auch den Betroffenen selber telefonisch darüber. Am 31. Mai 2007 erfolgte eine Aussprache zwischen M._ und Vertretern der Verwaltungskommission der Regionalen Vormundschaft, und am 19. Juli 2007 konnte dieser zur Beendigung des Arbeitsverhältnisses Stellung nehmen. Mit Schreiben vom 24. Juli 2007 kündigte die Verwaltungskommission der Regionalen Amtsvormundschaft das Arbeitsverhältnis auf den 30. November 2007, unter sofortiger Freistellung bis zum Ablauf der Kündigungsfrist. Als Begründung wurde angeführt, gemäss Besprechung vom 31. Mai 2007 und der nachfolgenden Anhörung sei gegenseitig vereinbart worden, dass die Tätigkeit als Sachbearbeiter der Regionalen Amtsvormundschaft nicht mehr durch M._ wahrgenommen werden könne. B. M._ liess beim Verwaltungsgericht des Kantons Schwyz Klage einreichen und die Zusprechung einer Geldleistung in Höhe von Fr. 112'486.- zuzüglich 5 % Zins ab 30. November 2007 als Abfindung und Entschädigung beantragen. Das kantonale Verwaltungsgericht hiess die Klage mit Entscheid vom 11. Dezember 2008 im Sinne der Erwägungen teilweise gut und verpflichtete die Bezirke X._ und Y._ sowie die Gemeinden Z._, V._ und Q._ unter solidarischer Haftbarkeit zur Zahlung einer Abfindung und - wegen Missachtung von Verfahrensvorschriften - einer zusätzlichen Entschädigung in Höhe von insgesamt Fr. 84'364.50 zuzüglich 5 % Zins ab 1. Dezember 2007. C. Die Bezirke X._ und Y._ sowie die Gemeinden Z._, V._ und Q._ lassen gegen den kantonalgerichtlichen Entscheid beim Bundesgericht Beschwerde erheben. Sie beantragen dessen teilweise Aufhebung, soweit sie damit zur Entrichtung einer Entschädigung in Höhe von Fr. 28'121.50 wegen Verletzung des Anspruchs auf rechtliches Gehör verpflichtet wurden; eventuell sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. In diesem Umfang sei der Beschwerde die aufschiebende Wirkung zu erteilen. M._ lässt auf Abweisung der Beschwerde schliessen. Das Verwaltungsgericht des Kantons Schwyz nimmt in abweisendem Sinne Stellung. 