Faits: Faits: A. A._ exerce la profession de jardinier paysagiste. Il possède une entreprise qui accomplit essentiellement des travaux d'entretien de jardins, de taille et de plantation, ainsi que des petits aménagements tels que des terrasses et des clôtures. Ses machines, véhicules et stocks se trouvent à Gingins ou à Genolier. A._ est propriétaire, sur le territoire de la commune de Trélex, de la parcelle n° 43 du registre foncier, d'une surface d'environ 1,3 ha. Cette parcelle est longée par un chemin bétonné et se trouve en bordure d'une forêt. En vertu du plan d'affectation communal entré en vigueur en 1984, elle est classée en zone agricole protégée (zone destinée, d'après l'art. 2.8 du règlement de ce plan, à ménager certains espaces agricoles ayant valeur de sites caractéristiques ou de dégagements). A._ a acheté ce bien-fonds en 1995 ou 1996; il en a confié l'exploitation de la plus grande partie à son oncle agriculteur, qui la laisse en prairie. Il utilise cependant lui-même une bande de 10 à 20 m de large, le long du chemin bétonné, dans le cadre de son activité de jardinier paysagiste. Il y a déposé divers objets et matériaux. En été 2003, on pouvait constater notamment la présence de monticules recouverts par la végétation de la prairie - anciens tas de terre, déchets végétaux broyés amenés là par le propriétaire -, d'un tas de déchets végétaux broyés, d'un tas de branchages, d'un amoncellement de dalles de jardin, d'une remorque et de quelques autres déchets. La Municipalité de la commune de Trélex (ci-après: la municipalité) est intervenue à plusieurs reprises pour exiger de A._ qu'il débarrasse sa parcelle des déchets, matériaux, engins et véhicules qui y étaient entreposés. Le 14 août 2003, la municipalité a adressé à A._ une décision le sommant "une dernière fois" d'exécuter les travaux suivants sur sa parcelle avant le 30 septembre 2003, "ultime délai imparti": enlever tous les déchets de jardin, toutes les branches d'arbres, une vieille remorque, les déchets encombrants en plastique et sacs poubelles; remettre en état son terrain, dans le sens indiqué dans une précédente lettre du 17 avril 2000. Se référant à l'art. 130 de la loi cantonale sur l'aménagement du territoire et les constructions (LATC), la municipalité menaçait A._ d'une exécution par équivalent, à ses frais, d'une amende et d'une application de l'art. 292 CP. Le 14 août 2003, la municipalité a adressé à A._ une décision le sommant "une dernière fois" d'exécuter les travaux suivants sur sa parcelle avant le 30 septembre 2003, "ultime délai imparti": enlever tous les déchets de jardin, toutes les branches d'arbres, une vieille remorque, les déchets encombrants en plastique et sacs poubelles; remettre en état son terrain, dans le sens indiqué dans une précédente lettre du 17 avril 2000. Se référant à l'art. 130 de la loi cantonale sur l'aménagement du territoire et les constructions (LATC), la municipalité menaçait A._ d'une exécution par équivalent, à ses frais, d'une amende et d'une application de l'art. 292 CP. B. Le 29 août 2003, A._ a recouru auprès du Tribunal administratif du canton de Vaud contre la décision municipale du 14 août 2003. Lors d'une inspection locale le 21 avril 2004, il a été constaté que certains matériaux avaient été évacués, mais qu'il subsistait des dépôts de déchets végétaux, destinés à être broyés sur place (au moyen d'une défibreuse) puis emmenés par des agriculteurs, ainsi que des cailloux et des plots de ciment; le recourant entreposait en outre sur la bande de terrain litigieuse des plantes mises "en jauge" (hortensias, charmilles, buissons épineux). Par un arrêt rendu le 27 avril 2004, le Tribunal administratif a rejeté le recours et a confirmé la décision municipale. En substance, il a considéré que les dépôts de matériaux, même végétaux, n'étaient pas conformes à l'affectation de la zone agricole telle qu'elle est définie aux art. 16 et 16a de la loi fédérale sur l'aménagement du territoire (LAT; RS 700); comme aucune autorisation dérogatoire ne pouvait être délivrée, la municipalité était fondée à ordonner la remise en état. Par un arrêt rendu le 27 avril 2004, le Tribunal administratif a rejeté le recours et a confirmé la décision municipale. En substance, il a considéré que les dépôts de matériaux, même végétaux, n'étaient pas conformes à l'affectation de la zone agricole telle qu'elle est définie aux art. 16 et 16a de la loi fédérale sur l'aménagement du territoire (LAT; RS 700); comme aucune autorisation dérogatoire ne pouvait être délivrée, la municipalité était fondée à ordonner la remise en état. C. Agissant par la voie du recours de droit administratif, A._ demande au Tribunal fédéral d'annuler l'arrêt du Tribunal administratif et de renvoyer l'affaire à cette juridiction pour nouvelle décision. Il invoque la garantie de la propriété (art. 26 al. 1 Cst.), violée en raison de restrictions disproportionnées, dépourvues d'intérêt public et contraires à l'égalité de traitement. Il se plaint encore d'arbitraire (art. 9 Cst.) et d'une constatation incomplète des faits pertinents. La municipalité conclut au rejet du recours de droit administratif. Des autorités cantonales ont été invitées à répondre en tant que parties intéressées. Le Service de l'aménagement du territoire (du Département de la sécurité et de l'environnement) propose le rejet du recours, traité comme un recours de droit public. La section Conservation de la nature, du Service des forêts, de la faune et de la nature (rattachée au même département), propose également le rejet des conclusions du recourant. Il en va de même du Tribunal administratif. L'Office fédéral du développement territorial a renoncé à présenter des observations. L'Office fédéral du développement territorial a renoncé à présenter des observations. D. L'effet suspensif a été accordé au recours de droit administratif par ordonnance présidentielle du 25 juin 2004. 