A.- En mars 1999, Pierre-Alain et Anne-Marie Jaquier ont assigné Weiss & Appetito S.A. Renens (ci-après: Weiss & Appetito) devant le Tribunal des baux du canton de Vaud en paiement d'un arriéré de loyer. A l'audience du 29 février 2000, Weiss & Appetito a contesté la légitimation active des époux Jaquier, en invoquant un contrat de cession de loyers que ceux-ci auraient conclu avec le Crédit Foncier Vaudois en 1993. La présidente du Tribunal des baux, Christine Habermacher-Droz, a fixé aux époux Jaquier un délai au 30 mars 2000 pour fournir des explications et produire des pièces à ce sujet. N'ayant pas reçu les renseignements et moyens de preuves requis au 31 mai 2000, la présidente Christine Habermacher-Droz s'est alors adressée directement, par écrit, à la Banque Cantonale Vaudoise, repreneur du Crédit Foncier Vaudois, pour demander si le contrat de cession de loyer était encore en vigueur à l'échéance des loyers réclamés. Le 3 août 2000, elle a sollicité des explications complémentaires de la part du conseil des époux Jaquier, qui lui a répondu, le 1er septembre 2000, sans fournir les renseignements requis. La présidente a alors pris contact par téléphone avec un responsable de la Banque Cantonale Vaudoise, qui lui a transmis les informations souhaitées. Le 4 septembre 2000, Christine Habermacher-Droz a décidé de disjoindre le jugement de la question préjudicielle de la légitimation active des époux Jaquier. B.- Par courrier du 20 septembre 2000 adressé à la magistrate, les époux Jaquier ont demandé la récusation de celle-ci. La présidente a imparti un délai à Weiss & Appetito pour se déterminer à ce sujet, avant de transmettre la demande de récusation des époux Jaquier à la Cour administrative du Tribunal cantonal. Par arrêt du 16 novembre 2000, la Cour administrative a rejeté la demande de récusation concernant Christine Habermacher-Droz. Tout en relevant certaines erreurs commises par la magistrate, les juges ont considéré en substance que l'examen du dossier ne révélait aucun indice de partialité de sa part. C.- Contre cet arrêt, les époux Jaquier ont interjeté, le 15 décembre 2000, un recours de droit public au Tribunal fédéral. Invoquant une violation de l'art. 30 Cst. et de l'art. 6 par. 1 CEDH, ils concluent à l'annulation de l'arrêt attaqué. Par courrier du 15 janvier 2001, ils ont apporté des compléments à leur recours, consistant en une critique de certains faits retenus par les juges cantonaux. Le Tribunal cantonal n'a pas formulé d'observation, se référant aux considérants de son arrêt. Dans le délai prolongé qui lui était imparti, Weiss & Appetito a, pour sa part, conclu au rejet du recours. 