Sachverhalt: Sachverhalt: A. X._, geb. 1952, dipl. math. und lic. oec., war seit dem 1. Oktober 1996 im Bundesamt für Privatversicherungen angestellt, mit Wirkung ab dem 1. Januar 2002 in einem unbefristeten öffentlich-rechtlichen Arbeitsverhältnis. Im Sommer 2002 und ab Mai 2003 musste er je während mehrerer Wochen in einer psychiatrischen Klinik stationär behandelt werden. Mit Vereinbarung vom 23. Oktober 2003 wurde das Arbeitsverhältnis im gegenseitigen Einvernehmen aufgelöst. X._ focht diese Vereinbarung erfolglos beim Eidgenössischen Finanzdepartement und sodann bei der Eidgenössischen Personalrekurskommission an. Er machte geltend, die Vereinbarung sei nichtig (da in der Kündigungssperrfrist zustande gekommen), wegen seiner damaligen Unzurechnungsfähigkeit ungültig oder zumindest aufgrund einer rechtswidrigen Furchterregung unverbindlich. A. X._, geb. 1952, dipl. math. und lic. oec., war seit dem 1. Oktober 1996 im Bundesamt für Privatversicherungen angestellt, mit Wirkung ab dem 1. Januar 2002 in einem unbefristeten öffentlich-rechtlichen Arbeitsverhältnis. Im Sommer 2002 und ab Mai 2003 musste er je während mehrerer Wochen in einer psychiatrischen Klinik stationär behandelt werden. Mit Vereinbarung vom 23. Oktober 2003 wurde das Arbeitsverhältnis im gegenseitigen Einvernehmen aufgelöst. X._ focht diese Vereinbarung erfolglos beim Eidgenössischen Finanzdepartement und sodann bei der Eidgenössischen Personalrekurskommission an. Er machte geltend, die Vereinbarung sei nichtig (da in der Kündigungssperrfrist zustande gekommen), wegen seiner damaligen Unzurechnungsfähigkeit ungültig oder zumindest aufgrund einer rechtswidrigen Furchterregung unverbindlich. B. Am 26. Oktober 2006 hat X._ Verwaltungsgerichtsbeschwerde beim Bundesgericht eingereicht. Er beantragt, den Entscheid der Rekurskommission vom 27. September 2006 aufzuheben. Er sei als ungekündigt bei der Eidgenossenschaft angestellt zu erklären, unter verzinster Nachzahlung der Lohnausstände seit September 2004 und verlustfreier Wiederaufnahme in die Pensionskasse Publica. Daneben stellt er mehrere Eventualbegehren. Das Eidgenössische Finanzdepartement schliesst sinngemäss auf Abweisung der Beschwerde. Die Rekurskommission hat auf eine Vernehmlassung verzichtet. 