Faits: A. X._ est propriétaire de la parcelle n° 472 du Registre foncier de la commune de Torny, secteur Torny-le-Grand, situé au lieu-dit Pré Mottau. Ce bien-fonds est classé en zone de forêt. Le 19 décembre 2007, le Service des forêts et de la faune (SFF) a constaté, lors d'une inspection locale, l'existence sur cette parcelle d'ouvrages non autorisés, à savoir une cabane fermée de 8 x 4 m par 3 à 3,5 m de haut, un cabanon de 5,6 x 2 m ainsi qu'une place "fondée" aménagée. La cabane en question a été érigée en 2007 à la place d'un wagon de chemin de fer usagé dont l'installation avait été autorisée par décision préfectorale du 14 juin 1968; ledit wagon - destiné à servir d'abri et de remise - avait été endommagé suite à la tempête "Lothar" survenue en décembre 1999. B. Le 26 octobre 2009, le Préfet du district de la Glâne a ordonné la démolition de la cabane, du cabanon et de la place aménagée ainsi que la remise en état des lieux. Il a estimé qu'en remplaçant le wagon par une construction totalement nouvelle et différente, le recourant ne pouvait pas se prévaloir de la garantie de la situation acquise au sens de l'art. 24c LAT; en outre, il aurait préalablement dû s'enquérir auprès du SFF qui en l'espèce n'entendait toutefois pas donner son accord à une éventuelle autorisation. Le 25 novembre 2009, X._ a recouru contre cette décision préfectorale auprès de la IIe Cour administrative du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal) en concluant à son annulation ainsi qu'à l'octroi d'un délai de trois mois pour requérir les autorisations nécessaires. Dans le cadre de l'instruction, une inspection des lieux s'est tenue le 28 avril 2010. Par la suite, le SFF et le recourant ont déposé des observations; le SFF a notamment mis en doute la légalité de l'installation initiale du wagon dès lors que, selon l'ancien code forestier fribourgeois du 5 mai 1954, seul le Conseil d'Etat fribourgeois aurait pu l'autoriser. C. Par arrêt du 26 août 2010, le Tribunal cantonal a rejeté le recours et a imparti au recourant un délai au 31 mai 2011 pour enlever les installations litigieuses. En substance, il a considéré que celles-ci ne pouvaient bénéficier ni d'une autorisation ordinaire (art. 22 LAT) ni d'une autorisation extraordinaire (art. 24 LAT). Le recourant ne pouvait en outre se prévaloir de la garantie de la situation acquise ancrée à l'art. 24c LAT, la construction de la nouvelle cabane en 2007 - à la place du wagon usagé endommagé - n'étant pas compatible avec les exigences majeures de l'aménagement du territoire. D. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral d'annuler l'arrêt cantonal dans la mesure où il ordonne la démolition de la cabane - y compris ses fondations - et de lui octroyer un délai de 3 mois pour solliciter les autorisations nécessaires. Subsidiairement, il conclut au renvoi de l'affaire au Tribunal cantonal pour nouvelle décision. Il se plaint notamment de déni de justice, d'une violation de son droit d'être entendu ainsi que de l'art. 24c LAT. Le Tribunal cantonal, la Direction de l'aménagement, de l'environnement et des constructions (DAEC) ainsi que la Direction des institutions, de l'agriculture et des forêts (DIAF) ont conclu au rejet du recours. Le Préfet de la Glâne a renoncé à déposer des observations. E. Par ordonnance du 27 octobre 2010, le Président de la Ire Cour de droit public du Tribunal fédéral a admis la requête d'effet suspensif. 