Faits: A. L'Entreprise X._ (ci-après: l'Entreprise) exploite la compostière xxx à Y._ depuis 1992. En automne 2004, à la suite de réclamations dues aux mauvaises odeurs dégagées par la compostière, la commune de Y._ a formellement exigé que les directives d'exploitation du Service de l'environnement du canton de Fribourg soient respectées et a avisé le Préfet du district de la Sarine (ci-après: le Préfet). A la suite des interventions réitérées de la commune, du Préfet, du Service de l'environnement et du Service de la sécurité alimentaire et des affaires vétérinaires du canton de Fribourg - qui ont relevé des conditions d'exploitation contraires aux dispositions légales et réglementaires -, le Préfet a ordonné que la situation soit régularisée en tenant compte des conditions-cadre émises par les Services précités, par décision du 24 septembre 2009. La Direction de l'aménagement, de l'environnement et des constructions du canton de Fribourg (ci-après: la DAEC) a constaté que l'Entreprise n'avait jamais bénéficié d'une autorisation formelle au sens de l'art. 17 de la loi cantonale sur la gestion des déchets (LGD; RSF 810.2) et a mis la compostière au bénéfice d'une autorisation provisoire d'exploiter en lui enjoignant de respecter les prescriptions en la matière, par décision du 14 avril 2010. Le 20 juillet 2011, cette autorisation a été remplacée par une nouvelle autorisation d'exploiter valable jusqu'au 31 janvier 2012. Celle-ci mentionnait les déficiences de l'exploitation et avertissait qu'en cas de violation, l'autorisation serait retirée sans avertissement et que la compostière devrait fermer. Le 5 décembre 2011, la DAEC a rejeté la demande de renouvellement de l'autorisation provisoire du 20 juillet 2011, formée par l'Entreprise. Elle a précisé que l'autorisation provisoire prenait fin au 31 janvier 2012. Ce refus était motivé par le fait que la compostière avait continuellement été exploitée de manière insatisfaisante, eu égard notamment au problème récurrent de l'émanation d'odeurs et à l'écoulement de jus vers le fonds voisin; il a en outre été relevé que des contrôles avaient mis en évidence plusieurs irrégularités par rapport aux conditions de l'autorisation (stockage de déchets non conformes; insuffisance des travaux de réparations nécessaires à une collecte parfaite des eaux de la place et empêchant une fuite directe dans les champs avoisinants; contrôles insuffisants des déchets à l'entrée de la compostière et acceptation de déchets dans un stade de dégradation avancé; séparation insuffisante des flux de matières [entrées/sorties]; non-respect de la fréquence des intervalles de brassage des matériaux en cours de compostage; non-achèvement en avril 2011 des travaux portant sur l'installation d'une aération forcée ayant pour but de diminuer les problèmes d'odeurs et d'assurer l'assainissement de la compostière). B. Le 20 janvier 2012, l'Entreprise a recouru contre cette décision auprès de la IIe Cour administrative du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal). Par arrêt du 14 mars 2012, le Tribunal cantonal a traité la demande d'effet suspensif comme requête de mesures provisionnelles qu'il a admise partiellement, dans le sens que l'exploitation de la compostière xxx est autorisée jusqu'au 30 juin 2012. Le Tribunal fédéral a confirmé ce jugement, par arrêt du 4 juin 2012 (cause 1C_199/2012). Sur le fond, la cour cantonale a rejeté le recours, par arrêt du 8 février 2013. Après avoir énuméré les dysfonctionnements dans l'exploitation de la compostière - consignés dans divers procès-verbaux figurant au dossier -, elle a constaté en substance que les conditions d'exploitation contenues dans l'autorisation provisoire n'avaient pas été respectées. Elle a considéré que la recourante n'avait jamais été mise au bénéfice d'une autorisation définitive, de sorte que l'art. 45 de l'ordonnance du 10 décembre 1990 sur le traitement des déchets (OTD; RS 814.600) ne s'appliquait pas. Elle a enfin jugé que le principe de la proportionnalité n'était pas violé. C. Agissant par la voie du recours en matière de droit public, l'Entreprise X._ demande principalement au Tribunal fédéral d'annuler l'arrêt du 8 février 2013 ainsi que la décision du 5 décembre 2011. Elle conclut subsidiairement au renvoi de la cause à la DAEC pour nouvelle décision dans le sens de l'octroi d'une autorisation d'exploitation définitive de la compostière xxx. Le Tribunal cantonal, la DAEC et le Préfet renvoient aux considérants de l'arrêt attaqué et concluent au rejet du recours. La commune de Y._ renonce à se déterminer. 