A.- a) F._, né le 16 septembre 1960, a travaillé en qualité de maçon. Engagé à ce titre dès le 25 avril 1994 par l'entreprise de maçonnerie et génie civil R._ SA, à C._ et A._, il a présenté à plusieurs reprises une incapacité totale ou partielle de travail, avant d'interrompre de manière durable son activité à partir du 27 octobre 1997. Son assureur-maladie, la CMBB, a confié une expertise au docteur B._, spécialiste FMH en médecine interne & rhumatologie à N._. Dans un rapport du 3 juillet 1998, l'expert a posé le diagnostic de lombalgies chroniques persistantes chez un assuré présentant une protrusion discale paramédiane droite en L5-S1, sans syndrome vertébral ni radiculaire irritatif objectifs. Il concluait à une capacité totale de travail dans la profession de maçon dès le 6 juillet 1998. A la suite de la survenance d'une capsulite rétractile au niveau du membre supérieur gauche (épaule gelée), le docteur B._ a modifié ses conclusions en ce sens que F._ n'était plus capable de poursuivre son activité dans la construction. Il n'y avait par contre aucune contre-indication à la poursuite d'une activité professionnelle plus légère, par exemple en position debout ou assise, n'entraînant pas l'élévation des bras au-dessus de l'horizontale (expertise complémentaire du 22 octobre 1998). b) Le 13 novembre 1998, F._ a présenté une demande de prestations de l'assurance-invalidité. Dans un rapport médical du 15 janvier 1999, le docteur L._ a avisé l'Office de l'assurance-invalidité du canton de Neuchâtel qu'il fallait envisager un recyclage professionnel, attendu que le métier de maçon ne pouvait pas être poursuivi. L'office, sur proposition de son médecin, a confié une expertise au docteur B._. Dans un rapport du 1er juin 1999, ce praticien a diagnostiqué des troubles somatoformes douloureux persistants chez un assuré ne présentant pas d'affection psychopathologique ou de troubles de la personnalité ayant valeur de maladie. Il indiquait que la capacité de travail dans la profession antérieure de maçon était entière, qu'une reconversion professionnelle ou assistance à la recherche d'emploi n'était pas nécessaire, mais qu'un reconditionnement physique apparaissait utile avant la reprise du travail à 100 %. Le 29 juin 1999, l'office a rendu un prononcé dans lequel il constatait que F._ n'était ni invalide, ni menacé d'une invalidité imminente. Il l'informait qu'il n'avait pas droit à des prestations de l'assurance-invalidité. L'assuré a séjourné du 27 juillet au 2 septembre 1999 à l'Hôpital P._, à N._, et du 2 au 11 sep- tembre 1999 à l'Hôpital de zone de M._. Le 22 sep- tembre 1999, les médecins de l'Institut de radiologie de N._ ont procédé à une imagerie par résonance magnétique cérébrale et médullaire. Le 27 octobre 1999, F._ a été examiné par les médecins du Service de neurologie du Centre X._, à L._. Par décision du 21 décembre 1999, l'office a rejeté la demande, au motif que l'assuré présentait une capacité de travail entière dans sa profession habituelle, aussi bien sur le plan physique que psychique et mental. B.- a) F._ a recouru contre cette décision devant le Tribunal administratif de la République et canton de Neuchâtel. Il produisait copie de plusieurs documents, dont une communication du 14 janvier 2000 de son médecin traitant dans laquelle le docteur L._, spécialiste FMH en chirurgie et orthopédie à N._, attestait une aggravation rapide de son état de santé depuis le mois de juillet 1999 et la nécessité d'un examen neuro-psychiatrique approfondi. Du 14 mars au 17 mai 2000, il a été examiné à trois reprises par le docteur R._, médecin du Centre Y._ de N._. b) L'office a avisé la juridiction cantonale qu'il désirait procéder à un complément d'instruction sous la forme d'une expertise. Le 29 mars 2000, le président du Tribunal administratif a ordonné pour cette raison la suspension de la procédure de recours. Dans une expertise du 8 août 2000, le docteur S._, spécialiste FMH en psychiatrie-psychothérapie à Y._, a conclu à un "trouble factice" excluant toute maladie, souffrance, trouble ou pathologie. c) Sur la base du rapport précité du docteur S._, l'office a conclu au rejet du recours. Dans ses déterminations du 29 novembre 2000, F._ a nié toute manipulation de sa part. Il se référait aux avis des médecins du Centre Y._ de N._ des 18 août 1999 et 24 novembre 2000, qui excluent l'existence d'une simulation des symptômes. Par jugement du 5 février 2001, la juridiction cantonale a rejeté le recours. C.- F._ interjette recours de droit administratif contre ce jugement, en concluant, sous suite de frais et dépens, à l'annulation de celui-ci. Il invite le Tribunal fédéral des assurances à statuer au fond, en condamnant l'office à lui allouer une rente entière d'invalidité. A titre subsidiaire, il requiert une contre-expertise, qui pourrait être confiée au professeur D._ à la Polyclinique de L._. Il produit une lettre du 9 mars 2001 du docteur G._, médecin responsable du Centre de soins palliatifs L._, àC._. L'0ffice de l'assurance-invalidité du canton de Neuchâtel conclut au rejet du recours. 