A.- A._ a exploité, à titre indépendant, une entreprise de charpenterie, couverture, menuiserie jusqu'en 1997. Dès 1995, elle a rencontré des problèmes de santé. A partir du 26 juin 1997, elle a bénéficié de 720 indemnités journalières que lui a versées son assureur perte de gain. Dans un rapport du 1er octobre 1997, le docteur B._, spécialiste en maladies rhumatismales, a posé le diagnostic de lombalgies chroniques sur scoliose dégénérative du rachis lombaire, ainsi que de hernies discale et intra-foraminale. Le 5 novembre 1997, elle a déposé une demande de prestations de l'assurance-invalidité (reclassement dans une nouvelle profession et rente), en raison de douleurs dorsales survenues dès 1995. Le docteur C._, médecin traitant, a constaté que sa patiente présentait une incapacité de travail de 100 % du 26 avril 1997 au 31 janvier 1999 et de 50 % à partir de cette date (rapports des 14 novembre 1997 et 1er août 1999). Dans un rapport du 11 janvier 1999, le docteur D._, spécialiste en médecine interne et rhumatologie, a déclaré qu'au vu des problèmes rachidiens présentés par A._, il ne lui paraissait pas possible qu'elle poursuive son travail de menuisier charpentier, en revanche un travail à temps réduit (50 % à 60 environ) lui semblait indiqué. A._ a travaillé à 50 %, à partir du 1er février 1999, comme ouvrière de fabrication, et à partir du 2 mai 2000, comme ouvrière polyvalente, à 50 %. Par décision du 21 février 2000, l'Office de l'assurance-invalidité du canton du Jura (ci-après : OAI) a nié le droit de l'assurée à une rente d'invalidité, au motif qu'elle ne subissait pas de perte économique. B.- A._ a recouru contre cette décision devant le Tribunal cantonal du canton du Jura, Chambre des assurances, en concluant à l'octroi des prestations demandées. Elle a produit un rapport médical du 28 février 2000 du docteur D._, dont il ressort qu'elle présentait actuellement une capacité de travail de 50 % et qu'il était difficile d'envisager une augmentation de ce taux. Par jugement du 23 novembre 2000, la juridiction cantonale a rejeté le recours formé par l'assurée. C.- A._ interjette recours de droit administratif contre ce jugement dont elle demande l'annulation. Sous suite de frais et dépens, elle conclut, principalement, à l'octroi d'une demi-rente d'invalidité et, subsidiairement, au renvoi de la cause, pour nouvelle décision, à l'autorité qui a statué en première instance. Elle sollicite également le bénéfice de l'assistance judiciaire gratuite. L'OAI conclut au rejet du recours. L'Office fédéral des assurances sociales ne s'est pas déterminé. 