A.- R._ a fait l'objet de deux procédures pénales, la première pour infraction à la loi fédérale sur les banques et les caisses d'épargne (LB; RS 952. 0), la seconde pour faux dans les titres, à raison de faits survenus alors qu'il était contrôleur et réviseur de la Banque V., dans le cadre de l'affaire dite "D.". Il a finalement été acquitté des divers chefs d'accusation retenus à son endroit, aux termes d'un jugement rendu le 26 juin 2000 par la Cour d'appel pénale du Tribunal cantonal du canton du Valais (ci-après: la Cour d'appel ou la cour cantonale). R._ a par ailleurs été révoqué de ses fonctions avec effet au 30 juin 1992, pour violations graves et répétées de ses obligations de contrôleur permanent, par décision du Conseil d'Etat valaisan du 28 mai 1997, confirmée par arrêt du Tribunal fédéral du 2 septembre 1998. B.- Le 26 juillet 2000, R._ a déposé devant la Chambre pénale du Tribunal cantonal du canton du Valais une requête en indemnisation fondée sur les art. 114 et 141 du Code de procédure pénale valaisan (CPP val.). L'indemnité demandée s'élevait à 3'640'956. 80 fr., avec intérêts à 5% dès le 1er juillet 1990, pour l'ensemble des préjudices liés aux procédures pénales ouvertes à son encontre et closes par son acquittement, à savoir: 1. perte de gain de 1992 au 1er juillet 2001 1'352'596. 50 fr.; 2. perte de gain de 2000 à 2008 846'404 fr.; 3. perte de cotisations au 2e pilier 264'348. 60 fr.; 4. perte sur taux hypothécaire 54'400 fr.; 5. perte d'épargne 200'000 fr.; 6. perte de prévoyance 480'000 fr.; 7. frais d'avocat 306'207. 70 fr.; 8. frais médicaux 2'000 fr.; 9. expertises pénales 10'000 fr.; 10. tort moral 125'000 fr.; La Cour d'appel, à qui la demande a été transmise comme objet de sa compétence, a rejeté celle-ci par arrêt du 29 mars 2001, après avoir donné partiellement suite aux offres de preuves du requérant. Elle a retenu en substance que R._ avait donné lieu aux deux procédures pénales dirigées contre lui en violant à plusieurs titres ses devoirs de contrôleur et en réalisant tous les éléments objectifs du faux dans les titres réprimé à l'art. 251 aCP, infraction absorbée par celle de l'art. 46 al. 1 let. k LB, elle-même prescrite dès le 27 mars 1999, au stade de l'appel. Elle a considéré que les dommages invoqués sous les postes nos 1 à 6 découlaient directement de la révocation du requérant et non des deux procédures pénales. Elle a par ailleurs retenu que R._ n'était pas fondé à réclamer une indemnité pour ses frais d'avocat car la totalité des frais de défense des procédures pénales ordinaire et administrative avait été mise à la charge du fisc. Elle a rejeté la prétention exigée au titre des frais médicaux, vu l'absence de facture acquittée et de rapport médical quant à la nature et à la cause du dommage éventuellement subi. Elle a également refusé de rembourser le montant de 10'000 fr. correspondant au coût de deux expertises pénales privées, en tant qu'il s'agissait d'avis de droit extrajudiciaires versés d'office par le requérant. Elle a enfin refusé toute indemnité à titre de réparation morale parce que la poursuite pénale avait été suscitée par le comportement du requérant et parce que les souffrances prétendument subies n'avaient pas atteint un degré suffisant pour justifier une indemnité. C.- Agissant par la voie du recours de droit public, R._ demande au Tribunal fédéral d'annuler cet arrêt et de renvoyer le dossier à la cour cantonale pour nouveau jugement dans le sens des considérants. Il voit une violation de son droit d'être entendu garanti par l'art. 29 al. 2 Cst. dans le refus de la Cour d'appel de procéder à son audition et à celle de son épouse, comme moyen de preuves. Invoquant l'art. 9 Cst. , il reproche à l'autorité intimée d'avoir fait une interprétation arbitraire des art. 114 et 141 CPP val. , de l'art. 4 al. 3 de la Constitution valaisanne (Cst. val.), ainsi que de l'arrêt rendu par le Tribunal fédéral le 17 avril 2000, en considérant que son comportement ne s'était pas limité à la violation des obligations professionnelles, mais qu'il réunissait également les éléments objectifs du faux dans les titres et qu'il constituait une faute de procédure au sens large, justifiant de lui refuser toute indemnité pour le préjudice subi du fait des procédures pénales ouvertes à son encontre. La Cour d'appel se réfère aux considérants de sa décision. L'Etat du Valais n'a pas déposé d'observations. 