A.- A._, actuellement domicilié à B._, dans l'un des trois districts francophones du canton de Berne, a droit depuis le 1er juin 1993 à une demi-rente d'invalidité, en fonction d'un taux d'invalidité de 50 %. A._ ayant demandé à bénéficier d'une rente entière en raison d'une aggravation de son invalidité, il a notamment dû se soumettre à une expertise auprès du Centre d'observation médicale de l'AI (COMAI) de l'Hôpital X._. Ayant reçu de ce dernier des documents rédigés en allemand, il a protesté et l'Office AI du canton de Berne lui a fait envoyer des formulaires rédigés en français. Le 4 janvier 2000, A._ s'est adressé au COMAI pour demander "poliment" à pouvoir se faire examiner par des médecins ou dans un hôpital de sa région, déclarant qu'il avait peur de se présenter "devant une commission médicale de langue allemande, comprenant mal (son) dossier". Répondant à sa lettre le 14 janvier suivant, l'Office AI indiquait notamment : "Selon renseignements pris auprès de ce centre, la question de la langue ne pose pas de problème. Les experts peuvent s'entretenir en français". En date du 23 mars 2000, le COMAI a livré son rapport, rédigé en allemand et long de onze pages, plus deux rapports annexes, de respectivement six et quatre pages, également en allemand. Le 17 mai 2000, l'Office AI a demandé à l'assuré de l'autoriser à transmettre le rapport d'expertise à ses médecins traitants. Deux jours plus tard, ledit office lui a fait part d'une "préorientation" aux termes de laquelle il était prévu de maintenir son droit à une demi-rente d'invalidité, soit, en fait, de rejeter sa demande d'augmentation de la rente. Le 22 mai suivant, A._ a répondu à l'Office AI qu'il faisait "objection" à cette décision, car il estimait qu'il y avait eu "vices de forme dans la procédure suivie par le centre d'observation médical de X._", ses "droits élémentaires de patient" n'ayant pas été respectés. En guise de réponse, l'Office AI lui a écrit le 30 mai 2000 pour l'inviter à préciser par écrit, dans un délai échéant le 13 juin suivant, quels points de la préorientation il contestait et pour quelles raisons exactement. Le 6 juin 2000, l'assuré a écrit à l'Office AI pour lui faire part de ses griefs. En particulier, il se plaignait d'avoir été examiné par des médecins ne parlant et ne comprenant pas le français, de sorte qu'il avait dû s'entretenir avec eux par le truchement d'une traductrice, ce qui était particulièrement malvenu en ce qui concerne l'examen psychiatrique. L'office lui a répondu le 30 juin suivant en indiquant d'une part qu'il faisait parvenir une copie de l'expertise du COMAI à son médecin traitant et, d'autre part, que pour la question de la langue, il constatait qu'une traductrice professionnelle et qualifiée avait servi d'interprète lors des examens, comme il l'avait souhaité. Par lettres des 12 et 28 juillet 2000, l'assuré a demandé à l'Office AI de lui faire parvenir le rapport d'expertise en français, ce que l'office a refusé, en précisant que "seules la correspondance et les décisions peuvent être envoyées en français". Par décision du 18 août 2000, l'Office AI a rejeté la demande de révision et maintenu le droit de l'assuré à une demi-rente. Le 14 août 2000, Me Y._, avocat de la Fédération suisse pour l'intégration des handicapés (FSIH) à Lausanne, a informé l'Office AI que A._ lui avait confié la défense de ses intérêts et il a demandé à l'office de lui communiquer le dossier de son mandant, ce qui fut fait le 21 août suivant. Le 23 août 2000, Me Y._ ainvité l'office à lui confirmer que sa décision du 18 août précédent était "nulle et non avenue". Le 29 août 2000, l'Office AI a répondu que celle-ci restait valable et il a rappelé l'indication des moyens de droit dont elle était assortie. B.- Se plaignant d'une violation de son droit d'être entendu pour le double motif que l'Office AI avait refusé, d'une part de lui communiquer le rapport d'expertise et d'autre part de le faire traduire en français, l'assuré a formé recours contre la décision du 18 août 2000 devant le Tribunal administratif du canton de Berne. La juridiction cantonale a rejeté le recours par jugement du 14 décembre 2000. C.- A._ interjette recours de droit administratif contre ce jugement qu'il demande au Tribunal fédéral des assurances d'annuler, avec suite de frais et dépens, le dossier de la cause étant renvoyé à l'Office AI "pour que ce dernier remette à l'assuré A._, en même temps que son projet de décision, une copie du rapport du MEDAS du 23 mars 2000 et sa traduction en français". Le président de la Cour des affaires de langue française du Tribunal administratif du canton de Berne présente des observations circonstanciées sur les griefs formulés par le recourant, notamment en ce qui concerne la législation applicable en procédure administrative bernoise. L'Office AI conclut au rejet du recours. Invité à se déterminer sur le recours, l'Office fédéral des assurances sociales (OFAS) propose le rejet de celui-ci. Les parties ont pu se prononcer sur ce préavis et elles ont chacune maintenu leurs conclusions. 