A.- Par décision du 18 juin 1999, la Caisse de compensation de l'Industrie suisse des machines (la caisse) a alloué dès le 1er juillet 1999 à C._, une rente partielle de vieillesse, fondée sur l'échelle 42, qui succédait à une rente d'invalidité, et dont le montant, calculé sur les bases de cette dernière, a été plafonné en fonction du montant de la rente de l'assurance-invalidité dont bénéficiait son épouse. Selon la caisse, la durée de cotisation antérieure à 1960 avait dû être déterminée au moyen des tables établies par l'Office fédéral des assurances sociales (OFAS) pour les années 1948 à 1968. Elle a ainsi pris en compte 33 mois de cotisation pour les années 1956 à 1959. B.- C._ a recouru contre cette décision devant la Chambre des assurances du Tribunal cantonal du canton du Jura qui, après avoir ordonné diverses mesures d'instruction, l'a débouté par jugement du 17 septembre 2001. La Cour cantonale a retenu que l'assuré avait eu en Suisse le statut de saisonnier de 1955 à 1959, puis des autorisations de séjour annuelles à partir du 29 février 1960, enfin une autorisation d'établissement dès le 1er mars 1970. Les juges cantonaux ont considéré que les preuves administrées ne permettaient pas d'admettre que l'assuré avait cotisé en 1955, mais que cette lacune devait être compensée à concurrence de 6 mois en fonction de ses années entières de cotisation, et que l'application de la procédure simplifiée pour les années 1956 à 1959 était justifiée, les périodes de cotisation afférentes à ces années n'ayant pas pu être déterminées avec exactitude. Ils ont estimé que la rectification relative à l'année 1955 ne conduisait pas à une modification du calcul de rente effectué par la caisse. C.- C._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, sous suite de frais et dépens, en concluant à l'octroi en sa faveur d'une rente de vieillesse fondée sur l'échelle 44, subsidiairement au renvoi de la cause à l'instance cantonale. Selon le recourant, il faut déduire du dernier extrait de son compte individuel produit dans la procédure cantonale et du temps de validité des permis saisonniers dont il a bénéficié en Suisse entre 1956 et 1959 que la durée de cotisation pendant cette période s'est élevée à 40 mois. Il soutient au demeurant que les éventuelles lacunes de cotisations dans ces années-là peuvent être compensées au même titre que celle de l'année 1955. La caisse conclut au rejet du recours. L'OFAS n'a pas présenté de détermination. 