A.- C._ a travaillé pour l'entreprise X._ SA en qualité de maçonrhabilleur jusqu'à son licenciement pour raisons économiques en 1998. Par la suite, il a exercé un emploi temporaire en tant qu'aide-cantonnier. Le 1er février 2000, le prénommé a déposé une demande tendant à l'octroi d'une mesure de réadaptation et d'une rente d'invalidité. Selon le docteur B._, spécialiste en médecine interne et pour les maladies rhumatismales, il souffre de diverses affections, notamment d'un syndrome douloureux somatoforme persistant sous forme de lombalgies chroniques sur troubles statiques et dégénératifs du rachis, d'hypertension artérielle et présente un status après état dépressif réactionnel au licenciement en 1998 (rapport du 6 mars 2000). Après avoir confié une expertise au docteur A._, spécialiste en médecine interne et rhumatologie (rapport du 17 août 2000), l'Office de l'assurance-invalidité du canton de Neuchâtel (ci-après : l'office) a rendu une décision, le 27 novembre 2000, par laquelle il a rejeté la demande, motif pris que l'assuré ne présentait pas d'invalidité économique significative. B.- Saisi d'un recours contre cette décision, le Tribunal administratif du canton de Neuchâtel l'a rejeté par jugement du 25 septembre 2001. C.- C._ interjette recours de droit administratif contre ce jugement, dont il demande l'annulation, en concluant, sous suite de dépens, principalement à l'octroi d'une rente entière d'invalidité et subsidiairement au renvoi de la cause à l'office pour nouvelle décision, après complément d'instruction sous la forme d'une expertise psychiatrique et somatique. L'office intimé conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à présenter des déterminations. 