A.- A._ a souffert de lombalgies chroniques sur troubles statiques dès le printemps 1993. A la même époque, il a perdu l'emploi de chef d'équipe/contremaître qu'il occupait dans l'entreprise Y._ SA, pour raisons économiques. Deux ans auparavant, son fils aîné était décédé dans un accident de voiture. Dans un rapport du 3 mars 1995, les docteurs B._ (médecin-adjoint) et C._ (médecin assistant) du Service de rhumatologie et de médecine physique de l'Hôpital X._ ont diagnostiqué des lombalgies chroniques et proposé un reclassement professionnel, la poursuite de l'activité exercée jusqu'alors par l'assuré ne leur paraissant pas indiquée. Dans un rapport d'expertise du 14 février 1996, le docteur D._, spécialiste FMH en médecine interne et rhumatologie, a fait état de douleurs cervico-dorso-lombaires et conclu que l'assuré était capable de poursuivre son activité professionnelle à plein temps. Par décision du 7 mai 1996, l'Office de l'assurance invalidité du canton de Neuchâtel (OAI) a rejeté la demande de rente d'invalidité formée par A._. Cette décision a été confirmée par le Tribunal administratif du canton de Neuchâtel, dans un jugement du 20 août 1997, entré en force. Le 2 avril 1998, le prénommé a adressé une nouvelle demande à l'OAI tendant à l'octroi d'une rente. Dans un rapport du 19 mai 1998, la doctoresse E._, médecin traitant, a posé le diagnostic de purpura rhumatoïde de Schönlein-Henoch, de lombalgies sévères sur troubles statiques et dégénératifs et de suspicion de polyneuropathie des membres inférieurs; elle excluait toute reprise de l'activité professionnelle. Dans un rapport d'expertise du 31 mai 1999, les docteurs B._ (médecin-chef), F._ (chef de clinique) et G._ (médecin assistant), du Service de rhumatologie et de médecine physique de l'Hôpital X._, ont, en particulier, fixé la capacité de travail de l'assuré à 85 % dans son occupation de contremaître. Par décision du 27 septembre 1999, l'OAI a rejeté la (nouvelle) demande de rente formée par l'assuré. B.- Par jugement du 31 août 2000, le Tribunal administratif a rejeté le recours formé par A._ contre cette décision. C. Le prénommé interjette recours de droit administratif contre ce jugement, dont il demande l'annulation, sous suite de frais et dépens, en concluant au renvoi de la cause à l'autorité de première instance pour qu'elle procède à une expertise complémentaire et rende un nouveau jugement. Il sollicite également le bénéfice de l'assistance judiciaire pour la procédure fédérale. Il a joint à son recours, notamment, les rapports du 20 octobre 1997 du docteur H._, spécialiste en médecine physique et réhabilitation et maladies rhumatismales, du 13 mars 1998 du docteur I._, spécialiste en médecine interne, maladies allergiques et immunologie clinique et médecin adjoint à l'Hôpital Z._, et du 16 septembre 1999 du docteur J._, médecin au Centre psychosocial K._. Par la suite, avant l'expiration du délai de recours, il a produit un avis complémentaire du docteur I._ du 22 septembre 2000. L'OAI conclut au rejet du recours. L'Office fédéral des assurance sociales ne s'est pas déterminé sur le recours. 