A.- En raison de divers problèmes de santé (séquelles de fractures, polyarthrose/polyarthrite, bronchite chronique, insuffisance veineuse, dystonie neurovégétative, affection dégénérative de la colonne vertébrale), S._ a bénéficié depuis 1986 d'une rente entière d'invalidité à laquelle a succédé une rente de vieillesse. Le 11 décembre 2000, elle a présenté une demande d'allocation pour personnes impotentes de l'AVS. Se fondant sur une enquête menée par l'Office AI du canton du Jura (ci-après : l'office AI) au domicile de S._, la Caisse de compensation AVS du canton du Jura (ci-après : la caisse) a retenu que la prénommée ne présentait ni impotence grave, ni même moyenne dès lors qu'elle n'avait pas besoin de l'aide d'autrui dans quatre actes au moins de la vie quotidienne, pas plus que d'une surveillance personnelle permanente. Partant, elle a refusé l'octroi d'une telle allocation (décision du 6 mars 2001). B.- Par jugement du 24 septembre 2001, la Chambre des assurances du Tribunal cantonal jurassien a rejeté le recours formé contre cette décision par l'assurée. C.- Cette dernière interjette recours de droit administratif contre ce jugement dont elle requiert l'annulation. Elle conclut, sous suite de frais et dépens, à la constatation de son droit à une allocation pour impotent et au renvoi du dossier à la caisse pour nouvelle décision dans ce sens. La caisse conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales ne s'est pas déterminé. 