Faits: A. A._ exploite un domaine agricole sur le territoire de la Commune de Vuadens (FR). Il est propriétaire de la parcelle n° 1119 du registre foncier, un bien-fonds de 60'000 m2 situé en zone agricole. Le 5 mars 2004, le prénommé a requis l'autorisation de construire sur ce terrain une écurie pour trente vaches et huit génisses en stabulation libre, ainsi qu'une fosse à purin de 500 m3. La façade nord du bâtiment projeté aurait une longueur de 35,90 m et une hauteur d'au moins 10 m par rapport au terrain naturel. Il est prévu d'implanter cette construction dans le voisinage immédiat des villas qui bordent la parcelle au nord. Elle serait située à 11,90 m de la parcelle n° 1033, propriété de B._ et C._. Ces derniers ont formé opposition contre le projet, en se plaignant de la proximité de l'écurie et des nuisances qui en découleront. Ils demandaient que le bâtiment soit implanté plus au sud sur la parcelle n° 1119. La Commune de Vuadens a préavisé négativement le projet en raison du fait qu'il ne tenait pas compte du voisinage. Les services cantonaux consultés ont donné des préavis positifs, mais ils ont pour la plupart émis des réserves au sujet de l'endroit choisi par A._ pour implanter son projet. Le Service des améliorations foncières a relevé que le projet n'était pas adapté aux besoins de l'exploitation et a invité le requérant à revoir son implantation. Le Service de l'environnement a souligné que l'emplacement choisi ne permettrait probablement pas une extension de l'exploitation. Le Service des constructions et de l'aménagement a constaté que l'implantation du rural était particulièrement préjudiciable aux époux B._ et C._ et qu'elle compromettrait de manière irrémédiable le dégagement visuel depuis leur parcelle. De plus, même si les nuisances engendrées par l'exploitation étaient considérées comme conformes aux normes, elles seraient néanmoins bien présentes et sources de litiges. Ce service invitait donc A._ à modifier l'implantation de son projet. Par décision du 23 juin 2004, la Direction de l'aménagement de l'environnement et des constructions du canton de Fribourg a constaté que le projet était conforme à l'affectation de la zone agricole au sens des art. 16a et 22 al. 2 de la loi sur l'aménagement du territoire du 22 juin 1979 (LAT; RS 700) et de l'art. 34 de l'ordonnance sur l'aménagement du territoire du 28 juin 2000 (OAT; RS 700.1). Elle a donc délivré l'autorisation spéciale nécessaire pour construire hors de la zone à bâtir, en application de l'art. 59 de la loi cantonale sur l'aménagement du territoire et les constructions (LATeC; RS/FR 710.1). Compte tenu du préavis négatif de la commune et des réserves émises par les services consultés, le Préfet du district de la Gruyère (ci-après: le préfet) a invité le requérant à entrer en discussion sur une éventuelle modification de l'implantation de son projet. Cette démarche n'a cependant pas abouti. Par décision du 9 août 2004, le préfet a délivré le permis de construire et rejeté les oppositions. Il a considéré que le projet était conforme aux dispositions légales et réglementaires applicables et que, même si l'atteinte portée à la qualité de vie des voisins était regrettable, aucune raison objective ne permettait de refuser l'autorisation sollicitée. B. B._ et C._ ont recouru contre cette décision auprès du Tribunal administratif du canton de Fribourg. Ils ont également formé un recours contre la décision du 23 juin 2004 de la Direction de l'aménagement de l'environnement et des constructions octroyant l'autorisation spéciale. Par arrêt du 19 septembre 2007, le Tribunal administratif a admis les recours et il a annulé les décisions attaquées. Il a considéré en substance que l'implantation du nouveau rural à proximité immédiate de la zone à bâtir empêchait toute possibilité de véritable agrandissement et qu'on ne pouvait dès lors pas admettre que cette construction était nécessaire à l'exploitation au sens de l'art. 34 al. 4 let. a OAT. De plus, procédant à une pesée des intérêts en présence, le Tribunal administratif a considéré que l'implantation choisie par A._ ne répondait à aucun intérêt digne de protection et qu'elle portait atteinte à divers intérêts publics. La construction litigieuse devait donc être refusée également sur la base de l'art. 34 al. 4 let. b OAT. C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler cet arrêt et de confirmer les décisions délivrant l'autorisation spéciale et le permis de construire. Il invoque une violation de l'art. 34 al. 4 let. a et b OAT et se plaint d'un établissement inexact des faits. B._ et C._ se sont déterminés; ils concluent au rejet du recours dans la mesure de sa recevabilité. Le Préfet du district de la Gruyère a présenté des observations. La Direction de l'aménagement de l'environnement et des constructions du canton de Fribourg y a renoncé. Le Tribunal administratif se réfère aux considérants de son arrêt. L'Office fédéral du développement territorial s'est déterminé; il conclut a l'admission partielle du recours, en ce sens que l'autorisation de construire serait assortie d'une condition résolutoire prévoyant que, "dans le cas où un agrandissement devrait ultérieurement s'avérer nécessaire sous la forme d'une nouvelle construction à un autre endroit, il ne pourrait être autorisé que pour autant que le recourant procède à ses frais à la démolition du rural autorisé". Le Tribunal administratif, les époux B._ et C._ ainsi que A._ ont présenté des observations complémentaires. 