Faits: Faits: A. Le samedi 15 février 2003, les inspecteurs de la Commission de surveillance de la Commission Y._ ont constaté que deux ouvriers employés par X._ S.A. posaient du parquet dans un immeuble situé à Fribourg. Le 16 mai 2003, la Commission Y._ a prononcé un avertissement à l'encontre de X._ S.A., lui reprochant d'avoir fait travailler ses employés le samedi, sans être au bénéfice d'une dérogation au sens de l'art. 14 de la Convention collective romande du second oeuvre du 11 novembre 2000 (ci-après: la CCT). Le samedi 3 mai 2003, les inspecteurs de la Commission de surveillance ont à nouveau constaté que des employés de X._ S.A. travaillaient sur un chantier à Bulle. Le samedi 3 mai 2003, les inspecteurs de la Commission de surveillance ont à nouveau constaté que des employés de X._ S.A. travaillaient sur un chantier à Bulle. B. Par décision du 23 mai 2003, la Commission Y._ a infligé une amende de 1'200 fr. à X._ S.A. pour violation de l'art. 14 CCT. Contre cette décision, X._ S.A. a recouru auprès du Tribunal arbitral du second oeuvre du canton de Fribourg, concluant à l'annulation de l'amende et à la constatation qu'elle n'était pas soumise à la CCT. Par sentence du 25 novembre 2004, le Tribunal arbitral a rejeté le recours et confirmé la décision attaquée, en relevant que X._ S.A. était soumise à la CCT, dans la mesure où celle-ci avait fait l'objet d'un arrêté d'extension du Conseil fédéral. Le recours en nullité formé par X._ S.A. à l'encontre de la sentence du 25 novembre 2004 a été rejeté, dans la mesure de sa recevabilité, par arrêt du 6 janvier 2006 rendu par la IIe Cour d'appel du Tribunal cantonal de l'Etat de Fribourg. Le recours en nullité formé par X._ S.A. à l'encontre de la sentence du 25 novembre 2004 a été rejeté, dans la mesure de sa recevabilité, par arrêt du 6 janvier 2006 rendu par la IIe Cour d'appel du Tribunal cantonal de l'Etat de Fribourg. C. Contre l'arrêt du 6 janvier 2006, X._ S.A. interjette un recours de droit public au Tribunal fédéral, en concluant à l'admission du recours et à l'annulation de la décision attaquée. Par ordonnance du 13 mars 2006, le Président de la Ire Cour civile a rejeté la requête d'effet suspensif formée à titre préliminaire par X._ S.A. La Commission Y._ propose le rejet du recours pour autant qu'il soit recevable. La IIe Cour d'appel du Tribunal cantonal renonce, pour sa part, à présenter des observations. 