A.- M._, a été mis au bénéfice, depuis le 1er avril 1999, d'une rente entière d'invalidité, à laquelle s'est substituée, depuis le 1er août 1999, une rente AVS ordinaire. Ensuite d'un premier refus, signifié par la Caisse de compensation du canton du Jura (ci-après : la caisse) par décision du 23 mai 2000, l'assuré a présenté une nouvelle demande de prestation complémentaire le 3 janvier 2001. Par décision du 16 mars 2001, la caisse en a derechef refusé l'octroi au motif que les revenus déterminants excédaient les dépenses reconnues. Cette décision tenait, en particulier, compte d'une part de fortune de 150 670 fr. au titre de son dessaisissement. B.- Par jugement du 25 juillet 2001, le Tribunal cantonal de la République et canton du Jura a rejeté le recours formé contre cette décision par l'assuré. C.- Ce dernier interjette recours de droit administratif contre ce jugement. Il conclut, sous suite de frais et dépens, à son annulation et à l'octroi d'une prestation complémentaire dès le 1er janvier 2001; il requiert, par ailleurs, le bénéfice de l'assistance judiciaire. La caisse conclut au rejet du recours. L'Office fédéral des assurances sociales ne s'est pas déterminé. 