Faits: Faits: A. Le 10 janvier 2002, le Département des infrastructures du canton de Vaud, par son Service de l'aménagement du territoire (SAT), a accordé l'autorisation spéciale requise pour la construction en zone agricole, sur la parcelle n° 349 du cadastre de Chavannes-le-Chêne, propriété de A._, d'une halle d'élevage de poulets d'une capacité de 12'000 places. La construction, de 59,24 m par 15,74 m, serait située au nord-est du village, à 80 m de l'habitation la plus proche. Le domaine agricole, de 41,5 ha était exploité par A._, avec l'aide de ses fils C._ et B._ - ce dernier à temps partiel; il devait être repris par ceux-ci en 2003. L'exploitation se diversifiait et paraissait viable. L'élevage de poulets devait permettre à plus long terme de subvenir aux besoins de deux familles. Après la réalisation du projet, la production de matière sèche du domaine correspondrait à 88,3% de la consommation. L'étude d'impact avait démontré qu'aucun intérêt public prépondérant ne s'opposait au projet. Au sujet des oppositions du WWF (Suisse et Vaud) et d'un propriétaire voisin, le département cantonal a considéré que le projet entrait dans le cadre du développement interne de l'exploitation, et ne nécessitait pas de planification spécifique. Les distances minimales étaient respectées. Cette autorisation spéciale contient la "décision finale" prise au terme de la procédure d'étude de l'impact sur l'environnement. Le 16 janvier 2002, la Municipalité de Chavannes-le-Chêne a décidé de lever les oppositions, en se référant aux motifs exposés par le département cantonal. Le 16 janvier 2002, la Municipalité de Chavannes-le-Chêne a décidé de lever les oppositions, en se référant aux motifs exposés par le département cantonal. B. Par arrêt du 8 janvier 2004, le Tribunal administratif vaudois a rejeté le recours formé par le WWF (Suisse et Vaud) contre cette dernière décision. Le projet n'était pas soumis à l'obligation de planifier. La décision du département cantonal était insuffisamment motivée s'agissant de savoir si le projet pouvait être autorisé au titre du développement interne. L'instruction a toutefois été complétée sur ce point et le Service de l'agriculture s'était prononcé le 14 juillet 2003 en se fondant sur une analyse établie par l'Office de crédit agricole de l'organisation Prométerre le 6 juin précédent: l'excédent annuel sur opérations courantes, augmenté des revenus accessoires, permettait la couverture des besoins des exploitants et laissait un solde positif de 1959 fr. Sans la halle, il faudrait compter avec une perte annuelle de 11'570 fr. qui ne permettrait pas la survie de l'exploitation à long terme. Les conditions fixées à l'art. 36 OAT étaient ainsi remplies. La future halle d'élevage ne pouvait être regroupée avec les autres bâtiments de l'exploitation, en raison des odeurs susceptibles d'être dégagées. B. Par arrêt du 8 janvier 2004, le Tribunal administratif vaudois a rejeté le recours formé par le WWF (Suisse et Vaud) contre cette dernière décision. Le projet n'était pas soumis à l'obligation de planifier. La décision du département cantonal était insuffisamment motivée s'agissant de savoir si le projet pouvait être autorisé au titre du développement interne. L'instruction a toutefois été complétée sur ce point et le Service de l'agriculture s'était prononcé le 14 juillet 2003 en se fondant sur une analyse établie par l'Office de crédit agricole de l'organisation Prométerre le 6 juin précédent: l'excédent annuel sur opérations courantes, augmenté des revenus accessoires, permettait la couverture des besoins des exploitants et laissait un solde positif de 1959 fr. Sans la halle, il faudrait compter avec une perte annuelle de 11'570 fr. qui ne permettrait pas la survie de l'exploitation à long terme. Les conditions fixées à l'art. 36 OAT étaient ainsi remplies. La future halle d'élevage ne pouvait être regroupée avec les autres bâtiments de l'exploitation, en raison des odeurs susceptibles d'être dégagées. C. Le WWF Suisse forme un recours de droit administratif par lequel il demande l'annulation de ce dernier arrêt, ainsi que du permis de construire. Le Tribunal administratif se réfère à son arrêt et conclut au rejet du recours. Le SAT, au nom du département cantonal compétent, conclut au rejet du recours, de même que la Municipalité de Chavannes-le-Chêne. Les intimés A._, B._ et C._ concluent à l'irrecevabilité du recours, subsidiairement à son rejet. Le Service cantonal de l'agriculture a déposé des déterminations. Egalement invité à répondre, l'Office fédéral du développement territorial (ODT) conclut à l'admission du recours. Les parties ont pu présenter des observations complémentaires après la communication de la réponse de l'ODT. Par ordonnance du 8 mars 2004, l'effet suspensif a été accordé. 