Faits: A. H.X._ et F.X._, défendeurs, d'une part, et la société en nom collectif Y._, demanderesse, d'autre part, sont en litige au sujet de l'exécution d'un contrat d'entreprise que les premiers ont conclu avec la seconde en vue de la construction d'une villa familiale sur un bien-fonds dont ils sont copropriétaires dans le canton de Fribourg. Le 14 juillet 2008, la demanderesse a introduit, devant le Tribunal civil de la Glâne, une procédure en paiement de 20'285 fr. 55, intérêts en sus, et en inscription définitive d'une hypothèque légale d'entrepreneur. Dans le cadre de cette procédure, les défendeurs ont déposé, le 3 octobre 2008, une requête de preuve à futur. Le 8 octobre 2008, les époux X._ ont requis le bénéfice de l'assistance judiciaire pour toute la durée de la procédure en question et la désignation de Me Bruno Charrière en qualité de défenseur d'office. Par ordonnance du 22 octobre 2008, le président du Tribunal civil de la Glâne, après avoir entendu les parties, a mis les requérants au bénéfice de l'assistance judiciaire dans la mesure suivante: "F.X._ et H.X._ versent solidairement un montant mensuel de 1000 fr. dès le 1er décembre 2008, et ce, jusqu'au paiement complet des frais de justice, des frais d'expertise, des honoraires de leur mandataire et des sûretés qu'ils doivent prester à l'entreprise intimée." B. Les défendeurs ont recouru auprès du Tribunal cantonal fribourgeois contre cette ordonnance. La demanderesse s'en est remise à justice. Par arrêt du 15 janvier 2009, la IIe Cour d'appel civil, admettant partiellement le recours, a modifié comme il suit l'ordonnance attaquée (ch. I du dispositif de l'arrêt cantonal): "1. F.X._ et H.X._ sont mis au bénéfice de l'assistance judiciaire totale pour toute la durée de la procédure en paiement et en inscription définitive d'une hypothèque légale des artisans et entrepreneurs la (sic) divisant d'avec Y._ SNC, dans la mesure suivante: F.X._ et H.X._ verseront solidairement le montant mensuel de Fr. 600.-, dès le 1er décembre 2008, et ce, jusqu'au paiement complet des frais de justice, des frais d'expertise, des honoraires de leur mandataire et des sûretés qu'ils doivent prester à l'entreprise intimée. 2. Me Bruno Charrière leur est désigné en qualité de défenseur d'office. 3. Il n'est perçu aucuns frais de justice pour la présente décision." La cour cantonale n'a pas perçu de frais pour la procédure d'appel (ch. II. du dispositif de l'arrêt attaqué) et elle a alloué à Me Bruno Charrière une équitable indemnité globale de 300 fr., plus 22 fr. 80 de TVA (ch. III. du dispositif de l'arrêt attaqué). C. Le 25 février 2009, les défendeurs ont interjeté un recours constitutionnel subsidiaire au Tribunal fédéral. Ils concluent à la modification partielle de l'arrêt cantonal en ce sens, principalement, qu'ils ne seront pas astreints au versement d'une contribution aux prestations de l'Etat et, subsidiairement, qu'ils ne devront verser à ce titre, dès le 1er mars 2009, qu'un montant mensuel de 200 fr. jusqu'à complet paiement des frais de justice, des frais d'expertise, des honoraires de leur mandataire et des sûretés à fournir à l'entreprise intimée. Les recourants requièrent, en outre, que l'équitable indemnité qui leur a été allouée par la cour cantonale soit portée à 600 fr., plus 45 fr. 60 de TVA. Ils sollicitent enfin l'octroi du bénéfice de l'assistance judiciaire gratuite pour la procédure fédérale et la désignation de Me Bruno Charrière comme avocat d'office. A ce défaut, les recourants demandent au Tribunal fédéral de ne pas percevoir de frais et de leur allouer 1'000 fr. de dépens. Dans sa réponse du 20 avril 2009, l'intimée déclare s'en remettre à l'appréciation du Tribunal fédéral. Elle ajoute que, du moment qu'elle ne s'est jamais opposée à l'octroi de l'assistance judiciaire aux recourants, les frais et dépens de ceux-ci devront être mis à la charge de l'Etat en cas d'admission du recours. Par lettre du 22 avril 2009, la IIe Cour d'appel civil a renoncé à présenter des observations sur le fond du recours. 