A.- B._, né en 1943, a travaillé comme contremaître dans une entreprise de construction jusqu'à son licenciement au mois de juillet 1998. En raison de diverses affections (aux épaules, à la colonne cervicale et lombaire, ainsi qu'aux genoux), il a présenté un degré d'invalidité de 60 %, ce qui lui a valu d'être mis au bénéfice, dès le 1er août 1996, d'une rente de 60 % de la Caisse nationale suisse d'assurance en cas d'accidents (CNA) et d'une demi-rente de l'assurance-invalidité. Sa demande de révision (à la hausse) de la rente de l'assureur-accidents a été rejetée par décision sur opposition du 18 février 1998. Cette décision n'a pas fait l'objet d'un recours. Le 2 juillet 1998, B._ a déposé une nouvelle demande de prestations de l'assurance-invalidité. Dans un rapport du 1er octobre 1998, le docteur R._, médecin traitant, a attesté d'une aggravation de l'état de santé de son patient le considérant désormais comme totalement inapte à exercer une activité de contremaître; il a suggéré un reclassement et, à défaut, l'octroi d'une rente. Son avis était étayé par la production d'une expertise privée réalisée par le docteur M._, chirurgien orthopédiste (rapport du 16 juin 1998). Sur mandat de l'Office AI pour le canton de Neuchâtel (ci-après : l'OAI), l'assuré a été examiné par le docteur L._, médecin-chef du service de rhumatologie et de médecine physique de l'Hôpital de X._, lequel a conclu à une capacité de travail inchangée de 60 % dans la profession de contremaître (rapport du 24 mars 1999). Par décision du 5 mai 1999, l'OAI a dès lors maintenu le droit de l'assuré à une demi-rente. Saisi d'un recours, le Tribunal administratif du canton de Neuchâtel a, par jugement du 4 novembre 1999, annulé la décision de l'OAI et renvoyé la cause à l'administration pour qu'elle ordonne une nouvelle expertise médicale. Celle-ci a été confiée au docteur P._ de la Clinique de réadaptation à S._, qui s'est adjoint les services du docteur F._, psychiatre. Le rapport d'expertise a été déposé le 14 avril 2000. Se fondant sur cette pièce, l'OAI a rendu, le 9 août 2000, une nouvelle décision par laquelle il a rejeté la demande de révision de l'assuré. B.- Par jugement du 28 novembre 2001, le Tribunal administratif du canton de Neuchâtel a rejeté le recours formé contre la décision du 9 août 2000 par B._. C.- Le prénommé interjette recours de droit administratif contre ce jugement dont il demande l'annulation. Sous suite de dépens, il conclut principalement à l'octroi d'une rente AI entière à compter du 1er juillet 1998, et, subsidiairement, au renvoi de la cause à la juridiction cantonale ou à l'administration pour nouvelle décision. L'OAI a conclu au rejet du recours, tandis que l'Office fédéral des assurances sociales ne s'est pas déterminé. 