A.- Par contrat du 16 octobre 1996, la communauté des copropriétaires X._ a remis à bail à dame B._ des locaux d'une surface d'environ 68,5 m2 destinés à l'exploitation d'un bar à café dans ce centre commercial. Des plans avaient été présentés à la locataire, datés du 26 juin 1996, qui ne faisaient pas apparaître l'existence d'un commerce concurrent dans les environs. Les plans portaient cependant tous la mention: "ce document est donné à titre indicatif et ne constitue en aucun cas un document contractuel". L'art. 1.2 du contrat signé le 16 octobre 1996 prévoit expressément que "le locataire reconnaît n'être au bénéfice d'aucune exclusivité pour cette destination ni pour ses produits et/ou services de la part du bailleur". Par avenant du 4 avril 1997, A._ est devenu colocataire, aux côtés de dame B._. En septembre 1998, la communauté bailleresse a attribué un local situé à proximité pour l'exploitation d'un autre café. Initialement, cet emplacement était réservé à une banque. B.- Estimant que cette présence concurrente constituait un défaut de la chose louée, les locataires ont déposé devant les tribunaux genevois une demande de baisse de loyer qui a été rejetée successivement par un jugement du Tribunal des baux et loyers rendu le 3 février 2000, puis par un arrêt rendu le 6 novembre 2000 par la Chambre d'appel en matière de baux et loyers. C.- A._ et dame B._ recourent en réforme au Tribunal fédéral. Soutenant que la location d'un local proche pour une exploitation concurrente donnait lieu à un défaut de la chose louée, ils concluent à l'annulation de l'arrêt attaqué et reprennent leurs conclusions sur le fond, réclamant en substance une baisse de loyer de 20% à compter du 1er septembre 1998. La communauté intimée invite le Tribunal fédéral à rejeter le recours et débouter les demandeurs. 