Faits: Faits: A. A._ est propriétaire de la parcelle n° 6326 du registre foncier de Gorgier, sise en zone agricole, au lieu-dit "Prise Braillard" et sur laquelle se trouve un bâtiment (n° 6213) comprenant une partie habitable et une partie rurale. En 1985, cette construction a subi des travaux de transformation qui ont augmenté la surface habitable de 50%, la portant à 294.35 m2. Le bâtiment n'a plus de vocation agricole depuis 1993, année au cours de laquelle les parents de A._ ont abandonné l'exploitation agricole pour prendre leur retraite. A. A._ est propriétaire de la parcelle n° 6326 du registre foncier de Gorgier, sise en zone agricole, au lieu-dit "Prise Braillard" et sur laquelle se trouve un bâtiment (n° 6213) comprenant une partie habitable et une partie rurale. En 1985, cette construction a subi des travaux de transformation qui ont augmenté la surface habitable de 50%, la portant à 294.35 m2. Le bâtiment n'a plus de vocation agricole depuis 1993, année au cours de laquelle les parents de A._ ont abandonné l'exploitation agricole pour prendre leur retraite. B. Le 26 mai 2003, A._ a présenté une demande de permis de construire et d'autorisation spéciale pour la transformation de la partie rurale en une habitation collective de 4 logements avec 6 garages enterrés et 6 places de stationnement. Ce projet créerait une surface habitable supplémentaire de 466.40 m2. Par décision spéciale du 16 décembre 2003, le Département de la gestion du territoire du canton de Neuchâtel (ci-après: le département) a refusé la dérogation à l'affectation de la zone agricole. Il a considéré que l'augmentation de la surface habitable excédait ce qui pourrait être admis en application de l'art. 24c LAT, qu'un changement complet d'affectation au sens de l'art. 24d al. 2 LAT n'était pas non plus envisageable, le bâtiment en cause n'ayant pas été reconnu digne d'être protégé et, enfin, que l'implantation de la transformation projetée en zone agricole n'était pas imposée par sa destination au sens de l'art. 24 LAT. Par décision spéciale du 16 décembre 2003, le Département de la gestion du territoire du canton de Neuchâtel (ci-après: le département) a refusé la dérogation à l'affectation de la zone agricole. Il a considéré que l'augmentation de la surface habitable excédait ce qui pourrait être admis en application de l'art. 24c LAT, qu'un changement complet d'affectation au sens de l'art. 24d al. 2 LAT n'était pas non plus envisageable, le bâtiment en cause n'ayant pas été reconnu digne d'être protégé et, enfin, que l'implantation de la transformation projetée en zone agricole n'était pas imposée par sa destination au sens de l'art. 24 LAT. C. Le 20 janvier 2004, A._ a recouru contre cette décision devant le Tribunal administratif cantonal, faisant valoir, en substance, qu'une dérogation aurait dû lui être délivrée en application de l'art. 24d al. 1 LAT, que les exigences de l'art. 39 OAT étaient satisfaites, que la transformation projetée aurait dû bénéficier d'une autorisation en application de l'art. 24c LAT et qu'il était victime d'une inégalité de traitement. Le Tribunal administratif a rejeté ce recours par arrêt du 14 décembre 2004, considérant qu'une dérogation ne pouvait pas être octroyée sur la base des dispositions invoquées. C. Le 20 janvier 2004, A._ a recouru contre cette décision devant le Tribunal administratif cantonal, faisant valoir, en substance, qu'une dérogation aurait dû lui être délivrée en application de l'art. 24d al. 1 LAT, que les exigences de l'art. 39 OAT étaient satisfaites, que la transformation projetée aurait dû bénéficier d'une autorisation en application de l'art. 24c LAT et qu'il était victime d'une inégalité de traitement. Le Tribunal administratif a rejeté ce recours par arrêt du 14 décembre 2004, considérant qu'une dérogation ne pouvait pas être octroyée sur la base des dispositions invoquées. D. Agissant par la voie du recours de droit administratif, A._ demande au Tribunal fédéral d'annuler cet arrêt et de lui octroyer une autorisation exceptionnelle en vertu des art. 24 ss LAT, subsidiairement de renvoyer la cause à l'autorité inférieure pour nouvelle décision. Il se plaint d'une violation de son droit d'être entendu (art. 29 al. 2 Cst.), d'arbitraire (art. 9 Cst.), d'atteinte au principe de l'égalité de traitement (art. 8 Cst.), ainsi que de violations des art. 24c et 24d LAT et 39 OAT. Il demande l'édition de divers dossiers par le département et sollicite une inspection locale. Le département cantonal et l'Office fédéral du développement territorial se sont déterminés et concluent au rejet du recours. Le Tribunal administratif conclut également au rejet du recours. A._ a présenté des observations au sujet de ces déterminations. Le Conseil communal de Gorgier-Chez-le-Bart ne s'est pas déterminé. 