Faits: A. Florian Lachat, entrepreneur jurassien amateur de sports automobiles, souhaite réaliser dans le canton du Jura un centre de formation et de sécurité routière, également destiné au loisir (Centre Safety Car). Pour mener à bien son projet, il a pris contact à partir de 2004 avec les différents services compétents de l'Etat. Selon le cahier des charges du promoteur, tel que donné au bureau d'ingénieurs RWB SA à Porrentruy pour identifier et analyser une série d'emplacements potentiels dans le canton du Jura, le site qui devrait accueillir le circuit automobile doit s'étendre sur au moins quinze hectares, être accessible depuis le réseau routier jurassien, à maximum dix kilomètres d'une jonction autoroutière, être suffisamment éloigné de toute zone d'habitation pour ne pas générer de nuisances sonores conséquentes, se situer en dehors de toute zone de protection de la faune, de la flore et du paysage et ne pas porter atteinte à un point de vue particulier. Il doit également se trouver hors de toute zone à vocation spécifiquement touristique et ne pas avoir pour conséquence un afflux important de trafic dans un secteur sensible d'une localité. Dix-huit sites susceptibles d'accueillir le centre Safety Car ont ainsi été identifiés sur l'ensemble du territoire cantonal et comparés. Sur la base des appréciations émises par les autorités cantonales et les premiers contacts pris avec les autorités communales et les propriétaires fonciers, quatre emplacements ont été retenus, parmi lesquels le site Sur la Charmille, sur la commune de Vendlincourt. Par la suite, trois des quatre sites ont été éliminés pour diverses raisons. Le site n° 4, Vies de Bure, sur la commune de Buix et à proximité d'une place d'armes, a été écarté en raison de la très vive opposition de l'un des exploitants des terres agricoles où le projet devait se concrétiser. S'agissant du site n° 9, Grands Champs 1 à Courtemaîche, aucune surface agricole suffisamment importante n'a pu être décelée dans la région pour permettre de développer une proposition d'échange pour les propriétaires et exploitants du site, condition sine qua non à la réalisation du projet. Il a également fallu abandonner le site n° 17, Combe de Nalé à Chevenez, faute de terrains disponibles en raison d'un contentieux entre le propriétaire terrien et l'un de ses fermiers. Le site n° 15, Sur la Charmille, disposait quant à lui des atouts les plus importants au niveau des nuisances potentielles liées au bruit et des dédommagements à trouver pour les milieux de l'agriculture, mais posait problème au niveau des eaux. Lors de sa séance du 13 décembre 2005, le Gouvernement jurassien s'est montré favorable à la poursuite de l'étude du projet, estimant que l'infrastructure en question était opportune et compatible avec l'image du canton, particulièrement celle de l'Ajoie, et constituait une réponse pertinente à la Stratégie 2002 du Conseil fédéral en matière de sécurité routière, tout en entrant dans le cadre de l'utilisation du solde excédentaire des surfaces d'assolement cantonales. B. Une fois le site Sur la Charmille définitivement retenu, le projet a été présenté à la population de Vendlincourt pour la première fois en novembre 2005. Par la suite, plusieurs autres assemblées d'information ont eu lieu. Le plan spécial Sur la Charmille destiné à permettre la concrétisation du projet de Florian Lachat a fait l'objet d'un rapport d'examen préalable du Service cantonal de l'aménagement du territoire (ci-après: le SAT) le 25 juin 2007. Le dépôt public du plan spécial a eu lieu du 30 août au 28 septembre 2007. Il a fait l'objet de quatorze oppositions, émanant principalement d'habitants de Vendlincourt, de la Fondation suisse pour la protection et l'aménagement du paysage, d'Helvetia Nostra ainsi que des milieux agricoles. La population de Vendlincourt a adopté le plan spécial Sur la Charmille en votation populaire le 3 février 2008, par 228 voix contre 150. Le SAT a approuvé le plan spécial le 30 juin 2008, rejetant les treize oppositions qui subsistaient. C. Helvetia Nostra, Jean-Marc Christe, Catherine Boinay, Nadine Boinay, Raoul et Gertrude Challet, Bernard Hengy, Jean-Michel Falbriard, Maryline Wermeille, Elisabeth Bermon et Marianne Migy ont interjeté recours auprès de la Chambre administrative du Tribunal cantonal du canton du Jura (ci-après: le Tribunal cantonal) contre la décision d'approbation du SAT. La commune de Vendlincourt ainsi que Florian Lachat ont été appelés en cause. Une visite des lieux suivie d'une audience des débats a eu lieu le 25 février 2009. De nombreuses personnes domiciliées en Ajoie, mais également ailleurs en Suisse, ont spontanément écrit au Tribunal cantonal pour faire part de leur opposition au projet de circuit automobile. La Charmille, l'association des opposants au Safety Car, a en outre produit le 16 avril 2009 cent cinquante-sept cartes postales signées par des habitants du district de Porrentruy signifiant leur désaccord avec le projet. Par arrêt du 18 juin 2009, le Tribunal cantonal a rejeté le recours dans la mesure où il était recevable et modifié comme suit l'art. 5 al. 1, 2ème phrase, des prescriptions du plan spécial: "La compétition et les manifestations sportives en rapport avec les sports motorisés sont interdites". La décision attaquée a été confirmée pour le surplus. La cour cantonale a considéré pour l'essentiel que le site Sur la Charmille remplissait toutes les exigences posées par la fiche 3.23 du plan directeur cantonal pour les installations touristiques et de loisirs; le projet ne dérogeait donc pas à ce plan. Il était par conséquent sans importance qu'il ne soit pas mentionné en tant que tel et localisé sur le plan et il n'était de ce fait pas nécessaire d'adapter le plan directeur cantonal. Les exigences posées par la législation fédérale en matière de surfaces d'assolement et de protection des eaux souterraines étaient notamment respectées. En bref, ce n'était qu'au terme d'une pesée de tous les intérêts en présence conforme au droit fédéral que les services de l'Etat avaient donné leur accord à la mise en oeuvre d'un plan spécial Sur la Charmille, plutôt qu'ailleurs dans le canton. D. Agissant par la voie du recours en matière de droit public, Helvetia Nostra, Jean-Marc Christe, Catherine Boinay, Nadine Boinay, Raoul et Gertrude Challet, Bernard Hengy et Jean-Michel Falbriard demandent au Tribunal fédéral d'annuler l'arrêt du Tribunal cantonal du 18 juin 2009 ainsi que la décision d'approbation du SAT du 30 juin 2008 et la décision de la commune de Vendlincourt adoptant le plan spécial Sur la Charmille. Ils se plaignent en substance d'une mauvaise application de la législation fédérale relative à la protection de l'environnement et d'une violation des prescriptions en matière d'aménagement du territoire. Le Tribunal cantonal conclut au rejet du recours et à la confirmation de son arrêt. Le SAT confirme sa position sur le dossier et demande le rejet du recours. La commune de Vendlincourt demande au Tribunal fédéral de débouter les recourants de toutes leurs conclusions. Florian Lachat conclut au rejet du recours dans la mesure où il est recevable. 