Faits: Faits: A. X._ est propriétaire de la parcelle n° 270 du registre foncier, sur le territoire de la commune de Versoix. Il se trouve sur cette parcelle, classée dans la zone agricole, un bâtiment (n° 184) abritant deux appartements ainsi que les locaux d'une société, Y._ S.A., active dans la fabrication de produits horlogers, la taille de diamants et de pierres précieuses. X._, qui est gemmologue et administrateur de Y._ , habite avec sa famille cette maison décrite par lui comme une ancienne ferme de trois niveaux, entièrement réaménagée, qui était une "quasi-ruine" avant qu'il ne la transforme sur la base de différentes autorisations de construire délivrées par le département compétent du canton de Genève, la première fois en 1980. A. X._ est propriétaire de la parcelle n° 270 du registre foncier, sur le territoire de la commune de Versoix. Il se trouve sur cette parcelle, classée dans la zone agricole, un bâtiment (n° 184) abritant deux appartements ainsi que les locaux d'une société, Y._ S.A., active dans la fabrication de produits horlogers, la taille de diamants et de pierres précieuses. X._, qui est gemmologue et administrateur de Y._ , habite avec sa famille cette maison décrite par lui comme une ancienne ferme de trois niveaux, entièrement réaménagée, qui était une "quasi-ruine" avant qu'il ne la transforme sur la base de différentes autorisations de construire délivrées par le département compétent du canton de Genève, la première fois en 1980. B. En 1997, X._ a déposé une demande d'autorisation de construire pour l'aménagement du "hall de réception" dans le prolongement du bâtiment n° 184 en direction du sud-ouest. Il s'agit en réalité d'un projet de construction de deux niveaux - pièce de réception au rez-de-chaussée (41 m2), chambre au premier étage (41 m2) - avec des locaux souterrains (stockage, cave; 88 m2) et une terrasse couverte (52 m2). Cette extension du bâtiment existant devait être utilisée par la société Y._ . Le 23 septembre 1997, le département des travaux publics et de l'énergie (actuellement: département de l'aménagement, de l'équipement et du logement; ci-après: le département cantonal) a délivré l'autorisation, fondée sur l'art. 26A de la loi cantonale d'application de la loi fédérale sur l'aménagement du territoire (LaLAT), disposition réglant alors la transformation partielle de constructions existantes hors des zones à bâtir. Lors d'un contrôle effectué en octobre 1999, un inspecteur du département cantonal a constaté que les travaux n'avaient pas été effectués conformément à l'autorisation. Selon le rapport de cet inspecteur, la surface des sous-sols aurait été augmentée de 60 m2, et celle du premier étage de 44 m2; une cage d'escaliers extérieure avait été ajoutée ainsi qu'une baie vitrée au sous-sol. Le 27 octobre 1999, le département cantonal a ordonné à X._ d'arrêter les travaux de construction et de mettre les locaux en conformité avec l'autorisation de construire, dans un délai de 90 jours. Simultanément, cette autorité a infligé à l'intéressé une amende administrative de 30'000 fr., en application de l'art. 137 de la loi cantonale sur les constructions et les installations diverses (LCI). X._ a recouru contre cette décision auprès du Tribunal administratif cantonal. La procédure de recours a été suspendue jusqu'au 5 août 2002. X._ a recouru contre cette décision auprès du Tribunal administratif cantonal. La procédure de recours a été suspendue jusqu'au 5 août 2002. C. Le 31 janvier 2000, X._ a adressé au département cantonal une demande complémentaire d'autorisation de construire, en présentant des plans du projet de "hall de réception" modifiés dans le sens de ce qui avait été effectivement réalisé à partir de 1997, partiellement sans autorisation. Le 11 octobre 2002, le département cantonal a refusé l'autorisation de construire complémentaire car le projet, implanté en zone agricole, n'était pas conforme aux art. 16, 16a, 22, 24 et 24c de la loi fédérale sur l'aménagement du territoire (LAT; RS 700), à l'art. 11 de la loi cantonale sur les forêts, à cause de la distance insuffisante par rapport à la lisière de la forêt voisine, ni à l'art. 15 LCI qui pose des exigences en matière d'esthétique des constructions. X._ s'est pourvu devant la commission cantonale de recours en matière de constructions. Celle-ci a rejeté le recours par un prononcé du 18 août 2003, en application des prescriptions précitées. Cette décision indique que, d'après les calculs du département cantonal, la surface supplémentaire des locaux non prévus dans le projet autorisé en 1997 serait de l'ordre de 140 m2. X._ a recouru contre cette décision auprès du Tribunal administratif. X._ a recouru contre cette décision auprès du Tribunal administratif. D. Les deux recours - contre l'ordre d'arrêt des travaux entrepris sans autorisation assorti d'une amende administrative, et contre le refus de l'autorisation complémentaire - ont été joints par le Tribunal administratif, qui a statué en un seul arrêt le 11 mai 2004. Il les a rejetés puis a confirmé la décision de la commission cantonale du 18 août 2003, l'ordre de remise en état des locaux pour se conformer à l'autorisation de construire du 23 septembre 1997, ainsi que l'amende administrative. Sur le fond, il a appliqué les mêmes dispositions légales que les autorités intimées. D. Les deux recours - contre l'ordre d'arrêt des travaux entrepris sans autorisation assorti d'une amende administrative, et contre le refus de l'autorisation complémentaire - ont été joints par le Tribunal administratif, qui a statué en un seul arrêt le 11 mai 2004. Il les a rejetés puis a confirmé la décision de la commission cantonale du 18 août 2003, l'ordre de remise en état des locaux pour se conformer à l'autorisation de construire du 23 septembre 1997, ainsi que l'amende administrative. Sur le fond, il a appliqué les mêmes dispositions légales que les autorités intimées. E. Agissant par la voie du recours de droit administratif et par celle du recours de droit public - les deux recours étant présentés dans le même acte, avec une motivation commune -, X._ demande au Tribunal fédéral d'annuler l'arrêt du Tribunal administratif ainsi que les décisions du 27 octobre 1999 et du 11 octobre 2002 du département cantonal. Le département cantonal conclut au rejet des recours, en tant qu'ils sont recevables. Le Tribunal administratif s'en remet à justice. L'Office fédéral du développement territorial et l'Office fédéral de l'environnement, des forêts et du paysage ont communiqué leur avis sur le recours de droit administratif. Le recourant a eu l'occasion de se déterminer à ce propos. L'Office fédéral du développement territorial et l'Office fédéral de l'environnement, des forêts et du paysage ont communiqué leur avis sur le recours de droit administratif. Le recourant a eu l'occasion de se déterminer à ce propos. F. L'effet suspensif a été accordé par ordonnance présidentielle du 24 août 2004. 