A.- A._ a travaillé au service de la société X._ SA depuis le mois de juillet 1995. A ce titre, il était assuré obligatoirement contre le risque d'accident auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA). Le 21 août 1996, alors qu'il était occupé, sur le chantier Y._, à scier une cale de tête de coffrage, il a subi un arrachement intra-articulaire de l'index de la main droite, ainsi qu'une coupure sévère au troisième doigt ensuite d'un arrêt accidentel de sa scie circulaire. A cette occasion, il a été projeté au sol par un retour imprévisible de ladite cale. Une arthrodèse de l'articulation interphalangienne distale de l'index a été effectuée le même jour à l'Hôpital Z._. L'apparition d'une surinfection grave nécessita toutefois l'amputation de la phalange distale de l'index par les soins du Centre hospitalier de B._. Dans un rapport du 11 avril 1997, le docteur C._, médecin d'arrondissement de la CNA, a indiqué une évolution lente avec développement d'une contracture irréductible à l'articulation interphalangienne droite. Il proposait l'amputation du reste de la deuxième phalange, opération qui a eu lieu en 1997 à B._ par les soins du docteur D._. Après avoir été licencié, A._ a été examiné par le docteur E._, médecin d'arrondissement de la CNA et spécialiste en chirurgie (rapport du 23 septembre 1997). Il a ensuite séjourné à la Clinique de réadaptation F._, du 22 octobre au 19 novembre 1997. Les examens ont notamment comporté un consilium psychosomatique confié au docteur G._. Les médecins de la clinique ont fait état d'une capacité de travail de 50 %. De son côté, A._ a confié une expertise au docteur H._, médecin à I._, dont il a produit un rapport du 15 mai 1998. Ce praticien concluait notamment que les douleurs ressenties au poignet et à l'épaule droits étaient imputables à une fracture métaphysaire du radius droit avec pseudarthrose subie lors de l'accident du 21 août 1996, diagnostiquée tardivement au cours du séjour à F._ (radiographie du 23 octobre 1997). Selon ce médecin, une reprise de l'activité antérieure dans une mesure limitée n'était guère envisageable. Après avoir requis l'avis du docteur J._, médecin de sa division médicale (rapport du 1er octobre 1998), la CNA a rendu une décision, le 21 avril 1999, par laquelle elle a alloué à l'assuré, pour la période du 1er décembre 1998 au 31 mai 2000, une rente d'invalidité fondée sur une incapacité de gain de 10 %, ainsi qu'une indemnité pour atteinte à l'intégrité fondée sur un taux de 5 %. Elle a considéré que la reprise de l'activité professionnelle habituelle dans le secteur de la construction était exigible durant toute la journée, après une période de rendement réduit de 18 mois; par ailleurs, la rente allouée ne tenait pas compte des douleurs au poignet droit, à l'épaule et à la colonne vertébrale, lesquelles étaient dues à la maladie; quant aux troubles psychogènes apparus progressivement après l'accident, ils n'étaient pas en relation de causalité adéquate avec ce dernier. Saisie d'une opposition, la CNA l'a rejetée par décision du 21 septembre 1999. B.- A._ a recouru contre cette décision devant le Tribunal administratif du canton de Neuchâtel. Après avoir requis de l'Office AI pour les assurés résidant à l'étranger la production du dossier concernant l'assuré prénommé, la juridiction cantonale a rejeté le recours par jugement du 8 août 2000. C.- Le prénommé interjette recours de droit administratif en concluant, sous suite de dépens, à l'annulation du jugement cantonal et de la décision sur opposition de la CNA. Cette dernière conclut au rejet du recours. L'Office fédéral des assurances sociales n'a pas présenté de détermination. 