A.- Par jugement du 27 octobre 1998, le Tribunal de district de Delémont a condamné A._ à quinze mois d'emprisonnement avec sursis et à 10'000 fr. d'amende, pour escroquerie et infraction à la loi fédérale sur l'assurance- chômage. B.- A._ a fait appel de ce jugement auprès de la Cour pénale du Tribunal cantonal jurassien (ci-après: la Cour pénale). Dans le cadre de cette procédure, il a requis l'administration de preuves complémentaires, notamment des auditions de témoins, des productions de pièces et une expertise. Par arrêt du 1er mars 2000, la Cour pénale a ordonné une nouvelle expertise requise par le Ministère public et la plaignante et a rejeté la demande de compléments de preuves de l'appelant, les preuves proposées n'étant pas jugées pertinentes. Un recours de droit public formé contre cet arrêt a été déclaré irrecevable le 5 décembre 2000. A._ a déposé une prise à partie auprès du Tribunal cantonal jurassien contre les juges de la Cour pénale, auxquels il reprochait de violer leur devoir d'établir la vérité et de ne pas instruire à charge et à décharge. Il demandait que les preuves requises par lui soient administrées et qu'une nouvelle procédure de nomination d'expert soit mise sur pied. Par arrêt du 28 juin 2000, le Tribunal extraordinaire désigné le 17 mai 2000 par le Parlement jurassien a déclaré irrecevable la demande de prise à partie, le droit cantonal ne prévoyant pas une telle procédure à l'encontre des juges cantonaux. Un recours de droit public a été rejeté le 22 septembre 2000 par le Tribunal fédéral. C.- Le 9 février 2001, A._ a requis la récusation des trois juges de la Cour pénale. Le 13 février 2001, il fut informé de la composition du Plénum du Tribunal cantonal jurassien, chargé de statuer sur la demande de récusation. Le 22 février 2001, il a alors requis la récusation de quatre des six membres de ce Plénum, soit les juges C._, D._, E._ et B._, dont il contestait l'indépendance et l'impartialité. Un Tribunal extraordinaire, composé d'avocats au barreau jurassien, a été désigné le 21 mars 2001 par le Parlement jurassien afin de statuer sur cette dernière requête. Le 1er mai 2001, A._ s'est encore adressé au Gouvernement et au Tribunal extraordinaire, demandant le déport de ses cinq membres en invoquant une incompatibilité avec l'exercice du barreau. D.- Par arrêt du 9 mai 2001, le Tribunal extraordinaire a rejeté la requête de récusation. Il a estimé que la requête adressée au Gouvernement ne valait pas demande de récusation, qu'il y avait lieu de statuer rapidement, que les membres du Tribunal extraordinaire n'avaient pas qualité de magistrats et n'étaient pas récusables à ce titre et que la requête pouvait être considérée comme dilatoire. Sur le fond, il a retenu que si les quatre membres du Plénum devaient statuer sur des motifs de récusation identiques à ceux qui leur étaient opposés, cela ne portait pas atteinte à leur indépendance. La participation des magistrats à la procédure de prise à partie n'était pas non plus un motif de récusation. Le fait que le Tribunal de première instance et le Tribunal cantonal siègent dans le même bâtiment, et que les juges aient pu discuter de la cause, était sans incidence sur l'indépendance des magistrats, tout comme le fait que les magistrats puissent remplir plusieurs fonctions, ou que les juges en cause siègent avec d'autres magistrats, déjà récusés. Il n'y avait pas de rapports hiérarchiques entre les juges et le requérant n'apportait aucun indice concret de prévention. E.- A._ forme un recours de droit public contre cet arrêt. Il en demande l'annulation et le renvoi de la cause à l'autorité intimée pour nouvelle décision sur la demande de récusation, respectivement transmission de cette demande à l'autorité compétente. Le Tribunal extraordinaire conclut au rejet du recours dans la mesure où il est recevable. Par ordonnance du 2 juillet 2001, l'effet suspensif a été accordé au recours. 