Sachverhalt: A. Die Eheleute Z._ und Y._ sind die Eltern von M._ (1985), N._ (1987), O._ (1988), P._ (1994), Q._ (1996) und R._ (1998). Im Jahr 2005 zog die Mutter mit den drei jüngeren Kindern zunächst ins Frauenhaus und danach in den Kanton Thurgau, wo sie seither unter Verwendung eines Pseudonyms leben. Der Wohnort wird vor dem Vater geheim gehalten. B. Im Rahmen des Eheschutzverfahrens teilte das Gerichtspräsidium A._ der Mutter am 2. August 2005 die Obhut über die drei jüngeren Kinder zu. Dem Vater wurde kein Besuchsrecht eingeräumt mit der Begründung, dies gefährde das Kindeswohl. In dahingehender Gutheissung der Beschwerde des Vaters erteilte das Obergericht des Kantons Aargau diesem mit Entscheid vom 26. Februar 2007 ein begleitetes Besuchsrecht von einem halben Tag pro Monat, unter Errichtung einer Erziehungs- und Besuchsrechtsbeistandschaft. Die Vormundschaftsbehörde am Wohnsitz der Kinder wurde mit der Ernennung und Überwachung des Beistandes beauftragt. C. Im Rahmen der Umsetzung des obergerichtlichen Entscheides liess die örtliche Vormundschaftsbehörde bei der behandelnden Maltherapeutin sowie der behandelnden Familienberaterin eine Beurteilung vornehmen und gab beim Psychotherapeuten S._ eine Begutachtung in Auftrag. Aufgrund der Abklärungsberichte, in welchen massive Störungen der Kinder aufgrund des früheren Verhaltens des Vaters festgestellt wurden, beschloss die Vormundschaftsbehörde mit Verfügung vom 3. Oktober 2007, dass das gerichtlich angeordnete Besuchsrecht aufgehoben werde. Die gegen diesen Beschluss erhobene Beschwerde des Vaters wies das Departement für Justiz und Sicherheit des Kantons Thurgau (DJS) am 4. Dezember 2008 ab mit der Begründung, die Aufhebung des Besuchsrechts sei im Hinblick auf das Kindeswohl und den Kindeswillen zu Recht erfolgt. Die hiergegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 23. September 2009 ab, nachdem es den Vater angehört und aktuelle Berichte eingeholt hatte. D. Am 27. November 2009 hat Y._ eine Beschwerde in Zivilsachen erhoben mit den Begehren um Aufhebung des Beschlusses der Vormundschaftsbehörde und der Entscheide des DJS und des Verwaltungsgerichts sowie um Feststellung, dass das vom Obergericht des Kantons Aargau am 26. Februar 2007 angeordnete Besuchsrecht zu vollstrecken sei, sowie um Anweisung der Vorinstanzen, die Vollstreckung umgehend vorzunehmen. Das Verwaltungsgericht und die Vormundschaftsbehörde verlangen in ihren Vernehmlassungen vom 27. Januar 2010 die Abweisung der Beschwerde. Die Mutter hat keine Vernehmlassung eingereicht. 