A.- J._ a été victime, en 1987, d'une chute sur un chantier dont il a gardé des séquelles à l'épaule droite, demeurées à l'époque sans incidence sur sa capacité de travail comme manoeuvre. Au printemps 1994, ses douleurs se sont toutefois accentuées. Les médecins ont diagnostiqué une tendinopathie sous-acromiale de l'épaule droite. Le 28 février 1995, une résection latérale de la clavicule droite a été pratiquée à la Clinique universitaire d'orthopédie X._ suivie, au mois de juin, d'une arthroscopie pour capsulite adhésive. Ces interventions, ainsi que l'incapacité de travail en résultant, ont été prises en charge par la Caisse nationale suisse en cas d'accidents (CNA). Entre-temps, J._ a été licencié par son employeur. Le 22 décembre 1995, il a présenté une demande de prestations de l'assurance-invalidité tendant à l'octroi de mesures de réadaptation professionnelles. L'Office AI du canton du Jura (ci-après : l'office) a alors requis des renseignements médicaux auprès des docteurs A._ et B._, respectivement médecin traitant de l'assuré et médecin assistant à la Clinique universitaire d'orthopédie X._ (rapports des 17 janvier, 6 mai et 25 septembre 1996). Ces deux praticiens ayant conclu qu'un réadaptation dans une profession plus légère s'imposait, l'office a mis J._ au bénéfice d'indemnités journalières dès le 20 mai 1996, dans l'attente de mesures d'ordre professionnel. Le 20 janvier 1997, le prénommé a commencé un stage d'observation professionnelle chez Y._ SA afin de déterminer ses capacités de réinsertion dans le circuit économique. Au terme de ce stage qui a duré une année, l'assuré a été reconnu apte à exercer une activité adaptée avec un rendement d'au moins 60% (rapport du 8 janvier 1998). Se fondant sur ces diverses pièces, l'office a alloué à J._, du 1er février au 31 mai 1996, une rente entière simple d'invalidité et, dès le 1er mars 1998, un quart de rente fondée sur un degré d'invalidité de 40 % (décisions du 8 juillet 1999). B.- L'assuré a déféré ces décisions à la Chambre des assurances du Tribunal cantonal jurassien, en concluant à la reconnaissance d'un degré d'invalidité supérieur à 66 2/3 % au-delà du 31 mai 1996. Dans sa réponse, l'office a proposé de reconsidérer sa prise de position et de reconnaître à l'intéressé le droit à une rente d'invalidité fondée sur un taux de 53 %. Prenant acte de cette proposition, le tribunal a déclaré la procédure sans objet et rayé la cause du rôle (ordonnance du 26 octobre 1999). L'office a alors rendu, le 12 mai 2000, deux nouvelles décisions (remplaçant celles du 8 juillet 1999), par lesquelles il a derechef octroyé à l'assuré une rente entière simple d'invalidité du 1er février au 31 mai 1996, tout en augmentant le montant des prestations allouées pour tenir compte de périodes de cotisations supplémentaires, ainsi qu'une demi-rente d'invalidité du 1er mars 1998 au 31 janvier 1999. L'assuré a recouru contre ces décisions, en concluant à la reconnaissance d'un taux d'invalidité supérieur à 66 2/3 % au-delà du 31 mai 1996. Par jugement du 8 mars 2001, le tribunal a rejeté le recours formé contre la décision d'octroi d'une rente entière d'invalidité du 1er février au 31 mai 1996; il a en revanche admis celui visant la décision d'octroi de la demi-rente d'invalidité, annulé cette dernière et renvoyé la cause à l'office pour instruction complémentaire au sens des considérants. C.- L'office interjette recours de droit administratif contre ce jugement dont il requiert l'annulation, en concluant à la confirmation de sa décision initiale. J._ conclut au rejet du recours et demande l'assistance judiciaire gratuite pour la procédure fédérale. De son côté, l'Office fédéral des assurances sociales ne s'est pas déterminé. 