A.- Le 25 février 1993, sieur B._ a conclu un contrat de bail avec MM. T._ et S._, portant sur la location d'une villa. Etabli pour une durée initiale de trois ans et quinze jours, du 16 mars 1993 jusqu'au 31 mars 1996, le contrat était ensuite renouvelable d'année en année. Le loyer a été fixé à 3'400 fr. par mois et n'a pas été augmenté. Aucune formule officielle n'a alors été utilisée. A l'entrée des époux B._ dans la villa, celle-ci n'était pas terminée et il a été précisé que les travaux de finition, représentant environ 20'000 fr., étaient à la charge du locataire. Dès le mois de mars 1996, la société X._ S.A. est devenue le nouveau propriétaire de la villa. Depuis janvier 1998 en tout cas, sieur B._, qui faisait état de difficultés financières, payait systématiquement son loyer avec deux ou trois mois de retard. Il n'a jamais fait de réserve quant au montant du loyer. Le 15 juin 1999, X._ S.A., qui avait déjà mis à plusieurs reprises les époux B._ en demeure de payer les loyers arriérés, les a sommés de lui verser dans les trente jours les loyers dus pour les mois d'avril à juin 1999, avec menace de résiliation. Le 28 juillet 1999, la bailleresse a notifié aux époux B._ un avis de résiliation de bail pour le 31 août 1999 en raison d'un arriéré de loyer se montant à 13'600 fr. pour la période du 1er avril au 31 juillet 1999. B.- Le 27 août 1999, les époux B._ ont saisi la Commission de conciliation en matière de baux et loyers du canton de Genève, en proposant le remboursement complet des arriérés au 31 octobre 1999. Le 9 septembre 1999, X._ S.A. a demandé, auprès de la même Commission, l'évacuation des locataires. L'affaire n'ayant pas été conciliée, le Tribunal des baux et loyers a été saisi le 29 octobre 1999. Le 2 décembre 1999, lors de la comparution personnelle des parties, sieur B._ s'est opposé à l'évacuation en arguant qu'il avait effectué pour environ 70'000 fr. de travaux et qu'il n'avait jamais reçu d'avis initial de fixation de loyer. Il se prévalait de la nullité du loyer initial, ainsi que de l'avis comminatoire. Quant à X._ S.A., elle a fait état d'un arriéré de loyer de 30'600 fr. Le 5 janvier 2000, le Tribunal des baux et loyers a prononcé l'évacuation des époux B._. Le 20 janvier 2000, les époux B._ ont introduit, devant la Commission de conciliation, une demande en fixation du loyer initial, concluant à ce que le loyer annuel de la villa soit fixé à 33'600 fr. dès le 16 mars 1993. Statuant sur appel des locataires, la Chambre d'appel en matière de baux et loyers a, par arrêt du 11 septembre 2000, confirmé le jugement d'évacuation du 5 janvier 2000. C.- Contre cet arrêt, les époux B._ (les défendeurs) interjettent un recours en réforme au Tribunal fédéral. Ils concluent à l'annulation de l'arrêt du 11 septembre 2000 et à ce que la bailleresse soit déboutée de toutes ses conclusions en évacuation. X._ S.A. (la demanderesse) propose, pour sa part, le rejet du recours et la confirmation de l'arrêt entrepris. 