Faits: Faits: A. La société anonyme B._ exploite sur le territoire de la commune de Savigny un important gisement de matériaux graveleux. La première étape de cette exploitation a été autorisée sous l'empire de la loi cantonale vaudoise du 21 novembre 1967 sur les carrières, en vigueur jusqu'au 31 mars 1990 (ancienne loi sur les carrières - aLCar), le Département des travaux publics, de l'aménagement et des transports ayant délivré à la société B._ le 1er mars 1989 un premier permis de gravière (gravière dite du Pétozan, du nom du ruisseau qui traverse le site). Le 19 mai 1989, le département cantonal précité a octroyé à la société B._ un permis complémentaire pour "exploiter les installations de traitement sur la surface partielle des parcelles nos 238, 240 et 980", dans le périmètre de la gravière du Pétozan, installations servant au concassage, au criblage et au lavage des graviers; la décision prévoyait une remise en état des lieux après la dernière étape d'exploitation. Ces installations de traitement ont été en définitive aménagées sur la seule parcelle n° 238, propriété de la société B._. Les autres installations fixes de l'exploitante - un hangar atelier, des bureaux, un concasseur de matériaux de recyclage et une centrale à béton - sont situées sur la parcelle n° 235, au lieu-dit "Geffry", entre la gravière du Pétozan et le hameau de la Claie-aux-Moines. Après le début de l'exploitation, C._, propriétaire de la parcelle n° 222 du registre foncier - dont une partie est comprise dans le périmètre de la gravière du Pétozan, et dont le solde, avec une ferme, jouxte au sud ce périmètre -, est intervenu à plusieurs reprises auprès du département cantonal pour se plaindre des nuisances. Les décisions prises sur ces dénonciations ont donné lieu, finalement, à un arrêt du Tribunal fédéral du 17 novembre 1999, rejetant un recours de droit administratif formé par C._ (arrêt 1A.234/1998). Après le début de l'exploitation, C._, propriétaire de la parcelle n° 222 du registre foncier - dont une partie est comprise dans le périmètre de la gravière du Pétozan, et dont le solde, avec une ferme, jouxte au sud ce périmètre -, est intervenu à plusieurs reprises auprès du département cantonal pour se plaindre des nuisances. Les décisions prises sur ces dénonciations ont donné lieu, finalement, à un arrêt du Tribunal fédéral du 17 novembre 1999, rejetant un recours de droit administratif formé par C._ (arrêt 1A.234/1998). B. La société B._ a déposé le 13 novembre 1997 auprès du Département cantonal des travaux publics, de l'aménagement et des transports une demande tendant à l'adoption d'un plan d'extraction et à l'octroi simultané d'un permis d'exploiter pour la gravière "Les Gavardes", constituant une extension de la gravière du Pétozan en direction du sud-est, dans l'axe du sillon graveleux existant à cet endroit. Ce gisement est répertorié dans le plan directeur cantonal des carrières (PDCar) sous le numéro 1243-001. Le volume exploitable est estimé à 1'560'000 m3 et le rythme d'exploitation prévu est de 90'000 m3 par an (même rythme que pour la gravière de Pétozan). Le dossier contient un "mémoire technique et rapport d'impact", rédigé par le bureau Impact-Concept S.A. Ce rapport indique notamment que selon les prévisions à ce moment-là, l'exploitation de la gravière du Pétozan serait terminée en 2001, et que les limites proposées pour la gravière des Gavardes prennent en compte le solde des matériaux exploitables dans le gisement (p. 1). Il précise par ailleurs que les matériaux seront traités dans les installations actuelles (concassage, lavage, triage) et que le réaménagement du site se fera par comblement avec des matériaux terreux et pierreux sains (p. 2). Le projet de plan d'extraction (à l'échelle 1:2'000) figure plusieurs périmètres, notamment le périmètre du site n° 1243-001 du plan directeur des carrières, le "périmètre d'exploitation antérieur Claie-aux-Moines et en cours Pétozan", le "périmètre du plan d'extraction" et le "périmètre de la demande de permis d'exploiter simultanée au plan d'extraction". La parcelle n° 238, où se trouve actuellement déjà l'unité de traitement, est incluse dans le "périmètre du plan d'extraction" (liseré jaune). A l'intérieur de ce périmètre, le plan indique en outre l'emplacement d'une piste d'accès et d'une bande transporteuse (tapis roulant), menant du fond de la gravière à l'unité de traitement. En l'état, le périmètre du plan d'extraction est classé dans la zone agricole de la commune de Savigny. Le projet a été mis à l'enquête publique du 27 février au 30 mars 1998. C._ a formé opposition. Le 30 mars 1999, le Département cantonal de la sécurité et de l'environnement (DSE) a rendu une "décision finale relative à l'étude de l'impact sur l'environnement" et il a adopté le plan d'extraction en fixant différentes conditions d'exploitation; il a dit en outre que les permis d'exploiter seraient délivrés, par étapes successives, une fois remplies les conditions prévues à l'art. 17 de la nouvelle loi cantonale sur les carrières, du 24 mai 1988 (LCar; RSV 931.15). L'opposition de C._ a été levée. Le 30 mars 1999, le Département cantonal de la sécurité et de l'environnement (DSE) a rendu une "décision finale relative à l'étude de l'impact sur l'environnement" et il a adopté le plan d'extraction en fixant différentes conditions d'exploitation; il a dit en outre que les permis d'exploiter seraient délivrés, par étapes successives, une fois remplies les conditions prévues à l'art. 17 de la nouvelle loi cantonale sur les carrières, du 24 mai 1988 (LCar; RSV 931.15). L'opposition de C._ a été levée. C. C._ a recouru contre cette décision auprès du Département cantonal des institutions et des relations extérieures (DIRE). Dans le cadre de l'instruction, cette autorité a requis de la société B._ le dépôt d'un plan complémentaire des circulations (document établi en mars 2000). Deux rapports d'expertise complémentaires sur la stabilité des sols, en fonction des conditions géotechniques et hydrologiques dans le périmètre du plan d'extraction, ont également été déposés en 2000. Le DIRE a rejeté le recours de C._ par une décision rendue le 20 novembre 2001. Un recours formé par d'autres voisins - l'Association A._ et consorts -, joint à cette cause, a également été rejeté. La décision attaquée du 30 mars 1999 a toutefois été réformée et le plan d'extraction a été complété par différentes "dispositions réglementaires", notamment l'obligation pour l'exploitant d'adresser régulièrement au service cantonal spécialisé des rapports écrits de contrôle des niveaux sonores et des retombées de poussières. Le DIRE a rejeté le recours de C._ par une décision rendue le 20 novembre 2001. Un recours formé par d'autres voisins - l'Association A._ et consorts -, joint à cette cause, a également été rejeté. La décision attaquée du 30 mars 1999 a toutefois été réformée et le plan d'extraction a été complété par différentes "dispositions réglementaires", notamment l'obligation pour l'exploitant d'adresser régulièrement au service cantonal spécialisé des rapports écrits de contrôle des niveaux sonores et des retombées de poussières. D. C._ a recouru contre la décision du DIRE auprès du Tribunal administratif du canton de Vaud. L'Association A._ et consorts ont également recouru. Les deux causes ont été jointes. A la requête du juge instructeur du Tribunal administratif, la société B._ a produit un rapport du bureau Impact-Concept daté du 30 octobre 2003, intitulé "Etude complémentaire au rapport d'impact du 13 novembre 1997 - nuisances sonores liées à l'exploitation - maison Boss, parcelle n° 222". Ce rapport a été communiqué aux parties, qui ont pu présenter leurs observations à ce sujet. Pendant l'instruction, le Service cantonal des forêts, de la faune et de la nature, rattaché au Département de la sécurité et de l'environnement (DSE), a rendu deux décisions: l'une le 15 août 2003 et l'autre le 24 septembre 2004, qui toutes deux modifient une autorisation de défricher délivrée à la société B._ le 15 décembre 1987, et ont pour objet de reporter des délais de reboisement. C._ a recouru auprès du Tribunal administratif contre ces deux nouvelles décisions. Ces recours ont été joints aux causes pendantes. Le Tribunal administratif a rejeté tous les recours par un arrêt rendu le 3 mars 2005. Les griefs de C._ contre le plan d'extraction, relatifs en particulier à la localisation des installations de traitement sur la parcelle n° 238, au programme d'exploitation et au bruit, ont été déclarés infondés. Le Tribunal administratif a rejeté tous les recours par un arrêt rendu le 3 mars 2005. Les griefs de C._ contre le plan d'extraction, relatifs en particulier à la localisation des installations de traitement sur la parcelle n° 238, au programme d'exploitation et au bruit, ont été déclarés infondés. E. Agissant par la voie du recours de droit administratif, C._ demande au Tribunal fédéral d'annuler l'arrêt du Tribunal administratif et de réformer les décisions du DIRE, du 20 novembre 2001, et du DSE, du 30 mars 1999, de telle sorte qu'une nouvelle enquête publique soit ordonnée. Il se plaint de violations de la loi fédérale sur l'aménagement du territoire (LAT; RS 700) et de la loi fédérale sur la protection de l'environnement (LPE; RS 814.01), en critiquant la mise à l'enquête publique du projet avant l'adoption du plan directeur des carrières, et en faisant valoir que le dossier d'enquête était incomplet sur plusieurs points, en particulier au sujet de la situation des installations de traitement, de la quantité des matériaux traités, de la configuration du terrain et des buttes à réaliser pour le protéger du bruit et de la poussière. La société B._ ainsi que le Département de la sécurité et de l'environnement concluent au rejet du recours. Dans son avis sur le recours, l'Office fédéral de l'environnement (OFEV - auparavant: OFEFP) renvoie à la réponse du département cantonal. Le Tribunal administratif a renoncé à se déterminer. 