Sachverhalt: A. X._, Jahrgang 1959, trat am 1. Dezember 1982 als Kanzleisekretär in den Dienst der Direktion des Innern des Kantons Zug und arbeitete dort hauptsächlich als Leiter der Abteilung BVG- und Stiftungsaufsicht und seit 1999 als stellvertretender Leiter des neu geschaffenen kantonalen Amtes für berufliche Vorsorge und Stiftungsaufsicht (ABVSA). Am 20. Juni 2005 wurde das Arbeitsverhältnis durch die Direktion des Innern auf den 31. Dezember 2005 formell gekündigt, weil das ABVSA als Folge des Beitritts des Kantons Zug zum Konkordat über die Zentralschweizer BVG- und Stiftungsaufsicht per Ende Dezember 2005 aufgehoben wurde. Mit Verfügung vom 20. März 2006 teilte die Direktion des Innern X._ mit, dass sein Begehren um Ausrichtung einer Abgangsentschädigung abgewiesen werde. Der Regierungsrat wies mit Beschluss vom 23. Januar 2007 die dagegen erhobene Beschwerde ab und begründete dies im Wesentlichen damit, dass X._ nur formell gekündigt worden sei. Das Arbeitsverhältnis sei in die Zentralschweizer BVG- und Stiftungsaufsicht (ZBSA) überführt worden, welche von den Konkordatskantonen als öffentlich-rechtliche Anstalt errichtet worden sei und als Nachfolgeorganisation das ABVSA ablöse. Gemäss den Gesetzesmaterialien handle es sich bei der Abgangsentschädigung nach § 24 des Gesetzes über das Arbeitsverhältnis des Staatspersonals vom 1. September 1994 (Personalgesetz; BGS 154.21) um eine Zuwendung aus Billigkeitsgründen. Derartige Billigkeitsgründe seien in der vorliegenden Konstellation aber nicht gegeben. X._ beschwerte sich gegen den regierungsrätlichen Beschluss beim Verwaltungsgericht des Kantons Zug und beantragte, in Gutheissung seiner Beschwerde sei seine Forderung auf eine Abgangsentschädigung in der Höhe von Fr. 63'500.85 samt Zins anzuerkennen. Mit Urteil vom 26. August 2008 wies die Verwaltungsrechtliche Kammer des Verwaltungsgerichts die Beschwerde ab. B. X._ hat beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten erhoben. Er beantragt, das Urteil des Verwaltungsgerichts sei aufzuheben, und es sei der Kanton Zug anzuweisen, dem Beschwerdeführer eine Abgangsentschädigung von Fr. 63'500.85 zuzüglich Zins von 5% seit dem 6. Februar 2006 auszurichten. C. Das Verwaltungsgericht und die Finanzdirektion des Kantons Zugs, handelnd für den Regierungsrat des Kantons Zug, beantragen Beschwerdeabweisung. 