Faits: A. Le 16 novembre 1971, le département des travaux publics du canton de Genève, devenu depuis le département de l'urbanisme (ci-après: le département) a délivré une autorisation de construire à Y._, alors propriétaire de la parcelle n° 284 de la commune de Collex-Bossy, située en zone agricole, pour agrandir un hangar déjà existant destiné à l'élevage de lapins et de poules. Selon le rapport du département du même jour, la destination du hangar était limitée exclusivement à l'usage de poulaillers et de clapiers. Elle ne pouvait en aucun cas être convertie, totalement ou partiellement, en habitation, même temporaire, ni en entrepôt ou atelier. Le 22 mars 1974, puis le 23 mars 1977, le département a refusé deux demandes d'autorisation de construire présentées par Y._ en vue de la transformation du hangar en habitation. Le refus du 23 mars 1977 a été confirmé par le Tribunal administratif du canton de Genève, devenu depuis la chambre administrative de la Cour de justice (ci-après : la Cour de justice), puis par le Tribunal fédéral le 4 mars 1981 (arrêt P.408/1979). B. Le 18 juin 1997, X._ a acquis la propriété de Y._. D'après l'acte de vente, la parcelle comportait une "habitation" (en réalité "hangar") de 120 m2, cadastrée comme étant le bâtiment n° 474. X._ y exploite depuis une entreprise individuelle inscrite au registre du commerce sous la raison sociale "Z._, X._" ayant pour but d'offrir des "services de jardinage". Le 5 novembre 2007, Y._ a dénoncé au département la transformation et l'agrandissement du bâtiment n° 474 réalisés par X._. Le 9 février 2009, un inspecteur de la police des constructions du département a établi un rapport d'enquête. Il avait procédé à des contrôles sur place les 29 octobre 2007 et 12 décembre 2008. Malgré deux refus successifs d'autorisations de construire en 1974 et 1977 ainsi que les réserves figurant dans l'autorisation initiale, le hangar avait été transformé en habitation. De nouvelles constructions, à savoir un garage de 50 m2 et une annexe de 25 m2, avaient été réalisées au nord et au nord-est du hangar et cela sans autorisation. Invité par le département à fournir toutes explications au sujet des constatations précitées, l'intéressé a répondu, le 23 mars 2009, qu'il avait acquis les locaux litigieux aux fins d'exploiter son entreprise d'horticulture. Il ne contestait pas avoir transformé le hangar pour partie afin de le rendre habitable, et pour partie en bureaux. Au moment de l'acquisition de la parcelle, il existait un studio avec un chauffage électrique. Il s'était contenté d'en améliorer le confort. Il avait construit un garage aux fins d'entreposer ses machines et son matériel, notamment son tracteur agricole. Il n'avait sollicité aucune autorisation de construire. Par décision du 16 juin 2009, le département a imparti à X._ un délai de soixante jours pour rétablir le hangar n° 474 dans son état d'origine, déposer une requête en autorisation de construire pour le garage et l'annexe réalisés dans le prolongement nord-est du hangar à la condition qu'il justifie de sa profession d'horticulteur. Dans le cas contraire, les constructions devaient être supprimées et il devait enlever les autres installations ainsi que divers dépôts sans lien avec l'agriculture (containers, roulottes ou cabanes dans l'angle nord-ouest). L'intéressé a recouru auprès de la Commission cantonale de recours en matière de constructions, devenue depuis le Tribunal administratif de première instance (ci-après: le TAPI) contre la décision précitée. C. Le 22 mars 2010, X._ a déposé une demande d'autorisation de construire pour l'agrandissement du hangar avec la création d'un réfectoire. Le département a refusé de délivrer l'autorisation de construire sollicitée par décision du 17 novembre 2011. Le requérant n'exerçant pas la profession d'agriculteur à titre principal, une autorisation ordinaire ne pouvait lui être octroyée. Les conditions d'une dérogation au régime ordinaire n'étaient par ailleurs pas réunies. L'intéressé a recouru auprès du TAPI contre ce refus du département. D. Après avoir joint les deux recours de X._, le TAPI les a rejetés par jugement du 7 mai 2012. Par arrêt du 6 février 2013, la Cour de justice a rejeté le recours interjeté par l'intéressé contre le jugement précité du TAPI. Elle a considéré en substance que les aménagements réalisés sans autorisation n'étaient pas conformes aux prescriptions relatives à la zone agricole et ne pouvaient bénéficier d'une dérogation au sens de l'art. 24 de la loi fédérale du 22 juin 1979 sur l'aménagement du territoire (LAT; RS 700). S'agissant de la remise en état, l'intéressé ne pouvait se prévaloir de sa bonne foi; il ne pouvait en particulier ignorer que la transformation du hangar en habitation n'était pas conforme à la zone agricole et qu'une autorisation de construire était nécessaire. L'intéressé se prévalait par ailleurs en vain de la situation acquise. E. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral d'annuler l'arrêt de la Cour de justice du 6 février 2013, de dire que les transformations effectuées sur sa parcelle sont autorisées et qu'il n'y a pas lieu de donner suite à l'ordre de remise en état du département. Il se plaint pour l'essentiel d'une constatation arbitraire des faits, d'une violation de son droit d'être entendu et d'une mauvaise application du droit fédéral. La Cour de justice n'a aucune observation à formuler sur le recours et persiste dans les considérants et le dispositif de son arrêt. Le département conclut au rejet du recours. Invité à se déterminer, l'Office fédéral du développement territorial (ci-après: l'ARE) a déposé ses observations le 21 août 2013. A son avis, il importe peu que l'ancien propriétaire ait ou non procédé à un changement d'affectation illégal du hangar il y a plus de 30 ans car de toute manière ce délai ne saurait s'appliquer en l'espèce; l'ordre de remise en conformité doit être confirmé dans son intégralité et le hangar rétabli dans son état d'origine, à savoir l'état autorisé en 1971. Le département soutient l'argumentation de l'ARE et persiste dans ses conclusions. Le recourant a également répliqué et maintenu ses conclusions. Par ordonnance du 25 avril 2013, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif du recourant. 