Faits : Faits : A. P._ a travaillé en dernier lieu en qualité de maçon au service de l'entreprise X._ SA. Alléguant souffrir d'une hernie discale, il a déposé, le 4 janvier 1996, une demande de prestations de l'assurance-invalidité tendant à son reclassement dans une autre profession. Du 12 août 1996 au 23 mars 1997, l'assuré a bénéficié, aux frais de l'assurance-invalidité, d'un stage d'observation chez Y._, puis d'un autre stage chez Z._ dans les secteurs de la menuiserie, de la mécanique et de la cuisine. Du 7 avril 1997 au 31 mai 1998, il a suivi une formation en mécanique au Centre d'enseignement professionnel des industries de la métallurgie (ci-après : CEPIM), ainsi que des cours de français et de mathématiques. Dès le 1er juin 1998, il a entrepris une formation de régleur CNC (consistant à déplacer les axes d'une machine par commande numérique). Initialement prévue jusqu'au 31 janvier 1999, cette période d'instruction a cependant été interrompue le 12 novembre 1998, l'assuré ayant émis des doutes quant à son utilité pratique et économique. Par ailleurs, P._ a fait valoir «qu'il ne tenait pas le coup physiquement» lors de stages en entreprises et qu'il n'avait pas été suffisamment tenu compte de son état de santé. Il souhaitait que l'assurance-invalidité prenne en charge une autre formation. A la demande de l'Office de l'assurance-invalidité du canton du Jura (ci-après : l'office), l'assuré a fait l'objet d'une expertise réalisée par le docteur A._, spécialiste en maladie rhumatismales. Dans un rapport du 3 février 1999, ce praticien a posé les diagnostics de lombosciatalgies droites chroniques dans le contexte de hernie discale paramédiane droite L5/S1 avec insuffisance discale, troubles statiques et lombalisation de S1. Selon l'expert, le recourant était totalement inapte à exercer une profession lourde, telle que celle de maçon, mais il présentait une capacité de travail de 80 % dans une activité légère adaptée. Le 29 avril 1999, l'office a informé l'assuré qu'il le considérait comme réadapté et a classé le dossier. Par courrier du 2 juillet 1999, P._ a invité l'office à rouvrir le dossier et à reprendre le versement des prestations qui lui revenaient ou à rendre une décision formelle de refus. Par décision du 3 avril 2000, l'office a rejeté la demande de prestations de P._ au motif que ce dernier présentait, à l'issue des mesures de réadaptation, une incapacité de gain de 25 % seulement. Par décision du 3 avril 2000, l'office a rejeté la demande de prestations de P._ au motif que ce dernier présentait, à l'issue des mesures de réadaptation, une incapacité de gain de 25 % seulement. B. Par jugement du 21 septembre 2001, la Chambre des assurances du Tribunal cantonal de la République et canton du Jura a rejeté le recours formé contre cette décision par P._. B. Par jugement du 21 septembre 2001, la Chambre des assurances du Tribunal cantonal de la République et canton du Jura a rejeté le recours formé contre cette décision par P._. C. Le prénommé interjette recours de droit administratif contre ce jugement. Il conclut, sous suite de frais et dépens, à l'annulation du jugement entrepris, en demandant que la cause soit renvoyée à la cour cantonale ou à l'office, pour qu'ils examinent si et dans quelle mesure il est tenu de poursuivre le stage de formation d'opérateur CNC qu'il a interrompu et/ou si une autre formation doit lui être proposée. Par ailleurs, il sollicite le bénéfice de l'assistance judiciaire gratuite. L'office a conclu au rejet du recours, cependant que l'Office fédéral des assurances sociales a renoncé à se déterminer. 