A.- R._ est affiliée à la Caisse-maladie SUPRA (ci-après : la SUPRA) notamment pour l'assurance obligatoire des soins. Souffrant de fibromyalgie, elle suit depuis quelques années un traitement de physiothérapie intensif prescrit par son médecin traitant, le docteur F._. Eu égard au nombre élevé de ces séances, la SUPRA a adressé à ce médecin un questionnaire portant sur la nécessité d'un tel programme thérapeutique. Dans sa réponse, le docteur F._ a indiqué que la physiothérapie entreprise était à visée réhabilitative et antalgique, que les résultats obtenus étaient très positifs du moment que les séances intervenaient de manière régulière et soutenue, et enfin qu'il ne voyait pas d'autre alternative pour aider sa patiente, les traitements médicamenteux s'étant avérés insuffisants dans son cas. La SUPRA a alors soumis le dossier médical de l'assurée à son médecin-conseil, la doctoresse de B._. Cette dernière a considéré qu'une physiothérapie pouvait certes apporter un soulagement temporaire aux personnes atteintes de fibromyalgie, mais ne constituait pas une mesure thérapeutique indiquée à long terme pour ce genre de maladie (rapport du 6 février 1998). Par lettre du 20 février 1998, la SUPRA a informé l'assurée qu'elle cesserait désormais de prendre en charge les factures afférentes aux séances de physiothérapie. R._ ayant contesté cette prise de position, une expertise a été confiée au docteur G._, médecin-chef du service de rhumatologie de l'Hôpital X._. Dans son rapport du 3 septembre 1998, cet expert a exposé qu'en cas de fibromyalgie, "on admettait généralement un programme thérapeutique comportant deux séries de neuf séances par année" et que le programme actuel ne répondait dès lors pas au critère de l'économie du traitement contenu dans la LAMal. Se fondant sur cette expertise, la SUPRA a accepté de rembourser au plus deux fois neuf séances de physiothérapie en 1998 et de renouveler cette prise en charge pour l'année suivante. Par décision du 14 décembre 1998, elle a refusé de prendre en charge un traitement de physiothérapie plus étendu. L'assurée a formé opposition contre cette décision en produisant à son appui un certificat médical de la doctoresse L._ du 26 janvier 1999. La SUPRA a confirmé son point de vue par décision sur opposition du 22 juin 1999. B.- Saisi d'un recours de l'assurée, le Tribunal administratif du canton de Neuchâtel l'a admis et annulé la décision sur opposition du 22 juin 1999 ainsi que la décision du 14 décembre 1998 (jugement du 22 mars 2000). C.- La SUPRA interjette recours de droit administratif contre ce jugement, dont elle requiert l'annulation. Elle conclut à la confirmation des termes de sa décision sur opposition du 22 juin 1999. L'assurée conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales ne s'est pas déterminé. 