A.- La Ville de Delémont est propriétaire de la parcelle n° 469 du registre foncier, sur son territoire. Il s'y trouve des anciens abattoirs qu'elle envisage de transformer en un "Centre de la jeunesse et de la culture" (CJC). Un crédit de 1'067'000 fr., destiné à ces travaux, a été accepté en votation populaire communale le 10 mars 1996. La parcelle n° 469 est située dans la ville de Delémont, à proximité de la route de Bâle, dont elle est séparée (au nord) par une rangée de maisons bordant cette voie; elle est en outre longée (au sud et à l'est) par la rivière La Sorne. Selon le nouveau plan général d'affectation (plan des zones) de la commune, adopté le 15 mars 1998 en votation populaire communale et approuvé par le Service cantonal de l'aménagement du territoire le 11 août 1998, cette parcelle est actuellement en zone d'utilité publique A (à l'exception des berges de la Sorne, en zone verte A). Auparavant, elle était classée en zone de construction EV (espace vert, ou zone verte). B.- La Municipalité (ou commune municipale) de Delémont a déposé le 22 mai 1996 une demande de permis de construire pour la transformation des anciens abattoirs en vue d'y aménager des locaux d'exposition et de spectacle (salle de 117 places assises) ainsi qu'un bistrot (32 places assises), un bar (10 places assises) et une terrasse. Après la publication de cette demande, plusieurs particuliers, agissant collectivement, ont fait opposition, en critiquant en substance le bruit que provoquerait dans le voisinage l'exploitation du CJC, et en dénonçant la non-conformité du projet à la destination de la zone verte; parmi les opposants figuraient les époux R._ et consorts. La Section des permis de construire du Service cantonal des constructions et des domaines a délivré le permis de construire le 13 mars 1997 et elle a rejeté les oppositions. Les époux R._ et consorts ainsi que d'autres opposants ont recouru contre cette décision auprès de la Juge administrative du district de Delémont. Par un jugement rendu le 16 décembre 1997, ce magistrat a annulé le permis de construire au motif que la transformation prévue des anciens abattoirs, non conforme à l'affectation de la zone verte, ne pouvait pas bénéficier d'une dérogation. Dans ce jugement, la qualité pour recourir n'a été reconnue - de façon partielle du reste, puisqu'elle était "limitée aux nuisances à l'exclusion des motifs liés à la régularité de la procédure" - qu'aux personnes habitant à moins de 150 m du bâtiment litigieux (les époux R._, notamment), et non pas à l'ensemble des opposants. C.- La Municipalité de Delémont a recouru contre le jugement de la Juge administrative du district auprès de la Chambre administrative du Tribunal cantonal du canton du Jura, en lui demandant de confirmer la décision de la Section des permis de construire autorisant l'aménagement du CJC. Les opposants à qui la Juge administrative avait dénié la qualité pour recourir (les époux P._, les époux I._, notamment) ont également recouru contre ce jugement, en demandant que leur précédent recours soit déclaré recevable et que, sur le fond, l'annulation du permis de construire soit confirmée. La contestation portant en particulier sur les nuisances qu'entraînerait l'exploitation du CJC, le Juge instructeur de la Chambre administrative a ordonné deux expertises. La première, confiée à l'ingénieur Michel Jobin, devait servir à déterminer le nombre de places de stationnement nécessaires pour le projet, le lieu de leur implantation et les mesures à prendre pour réduire au maximum les nuisances de bruit liées au stationnement. Le rapport de cet expert a été déposé le 2 septembre 1998. La seconde expertise, au sujet de mesures de prévention contre le bruit, a été confiée à l'ingénieur acousticien Gilbert Monay. Celui-ci a déposé son rapport le 4 février 2000 et un rapport complémentaire le 5 mai 2000. La Chambre administrative a statué sur ces recours par un arrêt rendu le 23 août 2000. Le recours de la Municipalité a été partiellement admis, le jugement de la Juge administrative étant, pour l'essentiel, annulé (sous réserve du sort d'une partie des frais de première instance). Statuant à nouveau au sujet de la demande de permis de construire, la Chambre administrative a partiellement confirmé la décision de la Section des permis de construire en y apportant quelques modifications; elle a ainsi refusé l'autorisation d'aménager une terrasse et elle a imposé à la Municipalité diverses conditions en matière de construction et d'exploitation (notamment: réalisation sur la parcelle n° 469 de 16 places de parc pour automobiles et 33 cases pour les deux-roues; création de deux écrans phoniques à l'extérieur du bâtiment; en cas de diffusion de musique, limitation des niveaux de bruit dans les locaux et fermeture des portes; prescriptions en matière d'isolation acoustique à l'intérieur des locaux et sur les façades; instauration d'un service de surveillance sur la parcelle pendant les concerts ou manifestations; limitation à 120 par année du nombre de nuits durant lesquelles le CJC peut être exploité au-delà de 22 heures). La Chambre administrative a également admis partiellement le recours de certains voisins à qui la Juge administrative avait dénié la qualité pour recourir, car cette décision d'irrecevabilité était contraire au droit de procédure. Sur le fond toutefois, la Cour cantonale a rejeté leurs conclusions tendant à ce que le refus du permis de construire, en première instance de recours, soit confirmé. La Chambre administrative s'est fondée sur le nouveau plan d'aménagement local de la commune, qui notamment classe la parcelle n° 469 en zone d'utilité publique et qui comprend un plan d'attribution des degrés de sensibilité au bruit. Elle a constaté que ces plans étaient applicables, après le rejet par le Tribunal cantonal, le 25 mars 1999, d'un recours formé contre l'arrêté cantonal d'approbation. Elle a admis la conformité du CJC à l'affectation de la zone et elle a considéré que, moyennant l'observation des conditions imposées par son arrêt, les prescriptions du droit fédéral sur la protection contre le bruit seraient respectées. D.- Agissant par la voie du recours de droit administratif, les époux R._ et consorts demandent au Tribunal fédéral d'annuler l'arrêt de la Chambre administrative, de refuser le permis de construire et de condamner la Municipalité, ou subsidiairement le canton du Jura, aux frais et dépens de toutes les instances de recours. Les recourants se plaignent principalement du bruit que provoquerait l'exploitation du CJC dans le voisinage direct et, à cause du trafic supplémentaire, le long de la route de Bâle. Selon eux, les mesures de limitation du bruit imposées dans l'arrêt attaqué sont insuffisantes ou inefficaces. Ils reprochent à la Municipalité de n'avoir pas étudié d'autres sites pour l'implantation d'un centre de la jeunesse et de la culture, et à la Chambre administrative d'avoir renoncé à contrôler l'opportunité du projet. Ils prétendent en outre que le CJC n'est pas conforme à la zone d'utilité publique et que le nombre de places de stationnement est insuffisant. La Municipalité et la Chambre administrative concluent au rejet du recours. Invité à répondre au recours, l'Office fédéral de l'environnement, des forêts et du paysage (OFEFP) a présenté des observations. Les parties ont pu se déterminer à ce sujet. E.- Par ordonnance du 31 octobre 2000, le Président de la Ie Cour de droit public a admis la demande d'effet suspensif présentée par les recourants. 