Faits: A. La commune de Collombey-Muraz a fait paraître au Bulletin officiel du 18 septembre 2009 une information sur les modifications partielles du règlement communal des constructions et des zones (RCCZ) et du plan d'affectation des zones (PAZ). Celles-ci portaient sur un nouvel art. 58bis RCCZ réglementant un périmètre de chauffage à distance dans le secteur de Collombey. Cet avis faisait référence à l'art. 34 de la loi cantonale du 23 janvier 1987 concernant l'application de la loi fédérale sur l'aménagement du territoire (ci-après: la LcAT) dans sa version alors en vigueur et prévoyait un délai d'opposition de dix jours. X._ SA (ci-après: la société) n'a pas formé d'opposition dans ce délai. B. Le 2 novembre 2009, l'assemblée primaire de Collombey-Muraz a adopté les modifications précitées, décision qui a été publiée au Bulletin officiel du 6 novembre 2009. Cet avis mentionnait les art. 36 et 37 LcAT et prévoyait un délai de recours de trente jours, ouvert aux personnes maintenant leur opposition et à celles touchées par des modifications éventuelles apportées au projet par l'assemblée primaire. La société a recouru au Conseil d'Etat contre cette décision. Elle faisait valoir que le délai de dix jours auquel faisait référence la publication du 18 septembre 2009 n'était pas conforme au droit fédéral et que, d'autre part, l'exécutif cantonal devait se récuser. Le Conseil d'Etat a rejeté la demande de récusation dont il faisait l'objet, par décision du 16 février 2011, et a déclaré irrecevable le recours de la société, celle-ci n'ayant pas formé opposition dans le délai de mise à l'enquête de dix jours alors en vigueur. Par arrêt du 1er septembre 2011, la Cour de droit public du Tribunal cantonal valaisan (ci-après: le Tribunal cantonal) a rejeté le recours de la société contre la décision précitée du Conseil d'Etat, considérant en substance qu'il n'existait pas d'apparence objective de partialité qui obligeait le Conseil d'Etat à se récuser et que le délai de dix jours mentionné dans l'avis publié le 18 septembre 2009 était légal. C. Agissant par la voie du recours en matière de droit public, la société demande au Tribunal fédéral de déclarer nul, subsidiairement d'annuler, l'arrêt du Tribunal cantonal du 1er septembre 2011. Elle critique la motivation de la décision attaquée tant en ce qu'elle concerne la récusation du Conseil d'Etat que le respect du délai d'opposition. Le Tribunal cantonal, ainsi que le Conseil d'Etat et la commune de Collombey-Muraz ont renoncé à se déterminer sur le recours. Par ordonnance du 4 novembre 2011, le Président de la Ire Cour de droit public a rejeté la requête d'effet suspensif de la recourante. 