Faits: A. La société Swisscom (Suisse) SA, Wireless Access West (ci-après: Swisscom), a entrepris d'implanter une nouvelle installation de communication GSM et UMTS sur la parcelle *** de la commune de La Folliaz, propriété de Z._. Ce bien-fonds, à l'adresse route du xxx, est situé en zone agricole dans le secteur "Lussy", au lieu-dit "La Tza", à proximité de la ligne de chemin de fer reliant Lausanne à Fribourg. A l'appui de sa demande, Swisscom a notamment produit une fiche de données spécifiques au site concernant les stations de base pour téléphonie mobile et raccordement sans fil (WLL) établie le 13 novembre 2009, ainsi qu'un rapport portant sur la justification de construction du site de Lussy daté du 5 février 2010. Il ressort du dossier déposé par la requérante que le projet comporte un mât d'une hauteur de 25.01 m et de 30 à 40 cm de diamètre environ, deux supports d'antennes d'une hauteur d'environ 4 m équipés chacun de deux antennes combinées GSM/UMTS, une armoire technique d'environ 3.0 x 0.8 x 2.0 m (largeur x profondeur x hauteur) et des câbles d'alimentation nécessaires. La construction serait installée en applique d'un hangar existant sur ladite parcelle, dont la hauteur est de 8 m. Elle est destinée à assurer la couverture UMTS de la ligne CFF entre Villaz-St-Pierre et Romont, où elle est inexistante, ainsi que la couverture GSM sur ce même secteur et sur les hauts des villages de Villaz-St-Pierre et de Lussy, où elle est insuffisante. La couverture UMTS permettrait de faire la jonction entre le site SCS existant de Villaz-St-Pierre (VIPI) et le nouveau site projeté à l'entrée de Romont (ROCA) actuellement à l'étude; elle assurerait une continuité dans la liaison UMTS et garantirait une connexion sans coupure dans la transmission de données. Mis à l'enquête publique, le projet précité a fait l'objet de vingt-quatre oppositions ainsi que de quatre listes de signatures de la part de riverains, essentiellement pour des motifs de nuisance et d'esthétique. La commune de La Folliaz a émis un préavis défavorable, estimant que l'implantation de cette antenne près des habitations n'était pas appropriée. Les autorités cantonales consultées ont toutes émis un préavis favorable, certaines sous condition. En particulier, le Service cantonal de l'environnement (ci-après: le SEn) a examiné si d'autres sites d'antennes relais ou de radio-télévision existants étaient susceptibles de supporter l'installation projetée et a conclu à la négative. L'étude effectuée avait démontré qu'aucun site ne satisfaisait aux contraintes techniques découlant de l'ordonnance du 23 décembre 1999 sur la protection contre le rayonnement non ionisant (ORNI; RS 814.710). B. Le 30 septembre 2010, la Direction cantonale de l'aménagement, de l'environnement et des constructions (ci-après: le DAEC) a délivré une autorisation spéciale au projet d'antenne de Swisscom. Par décision du 27 octobre 2010, le Préfet du district de la Glâne a écarté les oppositions et délivré le permis de construire. Les opposants déboutés ont porté leur cause au Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal), qui a rejeté leur recours par arrêt du 14 mars 2012. Les juges cantonaux ont retenu en substance que l'installation de Swisscom était imposée par sa destination et qu'aucun intérêt prépondérant ne s'opposait à son implantation à l'endroit projeté. C. Agissant par la voie du recours en matière de droit public, B._ et C._, D._ et E._, A._, F._, G._ et H._, K._ et L._, M._ et N._, Q._, O._ et P._, S._ et T._, U._, X._ et Y._, V._ et W._, I._ et J._ ainsi que R._ demandent au Tribunal fédéral de réformer l'arrêt du Tribunal cantonal du 14 mars 2012 en ce sens que la décision du Préfet du district de la Glâne du 27 octobre 2010 est annulée, de même que les autorisations spéciales cantonales en rapport avec le projet, en particulier la décision de la DAEC du 30 septembre 2010. Subsidiairement, ils concluent à l'annulation de l'arrêt attaqué. Les recourants se plaignent pour l'essentiel d'une constatation incomplète des faits, d'une violation de leur droit d'être entendus et d'une mauvaise application du droit fédéral. Le Tribunal cantonal renvoie aux considérants de son arrêt et conclut au rejet du recours. Le Préfet de la Glâne se réfère aux considérants et au dispositif de l'arrêt cantonal. La DAEC et Swisscom concluent au rejet du recours. La commune de La Folliaz propose l'admission du recours. L'Office fédéral du développement territorial ainsi que l'Office fédéral de l'environnement renoncent à déposer des observations. Les recourants ont répliqué le 27 août 2012. Par ordonnance du 24 mai 2012, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif des recourants. 