Faits: A. Le 22 décembre 2009, A._, B._, C._, D._ et F._ ont été renvoyés en jugement devant la Cour correctionnelle avec jury du canton de Genève, comme accusés de faux dans les titres et de gestion déloyale dans l'affaire dite de la Banque cantonale de Genève. Les débats ont été fixés du 4 octobre au 26 novembre 2010, sous la présidence du juge E._ (ci-après: le Président). La liste des 35 jurés, établie le 25 mai 2010, a été remise aux accusés le 7 juillet 2010. Le 11 août 2010, C._ et D._ ont demandé à la Cour de justice de la République et canton de Genève la récusation du Président. Ils relevaient qu'aucune audience publique n'avait été convoquée pour le tirage au sort du jury et que ce dernier comportait une proportion anormalement élevée de fonctionnaires, ce qui laissait présumer un choix délibéré de la part du Président. Or, les fonctionnaires cantonaux, employés par l'Etat de Genève qui était partie civile au procès, étaient susceptibles d'être prévenus contre les accusés. Il y avait donc lieu d'élucider les circonstances dans lesquelles avait eu lieu la désignation du jury. Les 11 et 13 août 2010, A._, puis B._ ont également demandé au Président de se récuser ou de transmettre leur demande à la Cour de justice, en invoquant les mêmes motifs. Le Président s'est déterminé en relevant que le tirage au sort du jury ne devait pas nécessairement se dérouler en présence des parties et qu'en l'espèce, il avait eu lieu en public à la suite d'un autre tirage en présence de tiers extérieurs. Conformément à la pratique, un procès-verbal n'avait pas été dressé sur-le-champ; il serait adressé aux parties par la suite. Les professions mentionnées sur la liste des jurés ne correspondaient pas forcément à la situation actuelle et la simple qualité de fonctionnaire ne constituait pas un motif de récusation. Le Président insistait sur la difficulté qu'il y avait à trouver des jurés disponibles pour une période aussi longue. Le Ministère public s'est également opposé à la récusation du Président. En réplique, C._ et D._ ont demandé que le Président explique clairement comment les jurés avaient été désignés. Ils ont en outre produit l'avis d'un professeur de mathématiques et d'un chargé d'enseignement de l'Université de Genève selon lequel la probabilité d'un tirage au sort régulier pouvait être exclue à 99,99997%. Le 27 août 2010, A._ a déposé des observations spontanées. Par décision du 31 août 2010, le Plenum de la Cour de justice (ci-après: le Plenum) a rejeté la demande de récusation formée par D._ et C._, sans avoir procédé aux actes d'instruction requis. Le Président avait suivi la pratique en usage pour le tirage au sort des jurés. Il n'y avait ni violation grave des devoirs du magistrat, ni apparence de prévention pour ce motif. Pour couper court à toute suspicion et assurer la transparence, il était donné acte au Président de sa volonté de procéder à un nouveau tirage au sort en date du 8 septembre 2010. Les requêtes formées par A._ et B._ ont été déclarées sans objet, puisque les motifs invoqués étaient les mêmes. B. Par acte commun du 15 septembre 2010, A._, B._, C._ et D._ forment un recours en matière pénale. Ils concluent principalement à l'annulation de la décision du Plenum et à la récusation du Président, subsidiairement au renvoi de la cause à l'autorité intimée pour nouvelle décision au sens des considérants. A titre de mesures provisionnelles et superprovisionnelles, ils demandent qu'il soit ordonné au Président de s'abstenir de tout acte de procédure jusqu'à droit connu et qu'il soit invité à se déterminer par écrit et à bref délai sur les circonstances du tirage au sort du 25 mai 2010. Par ordonnance présidentielle du 30 septembre 2010, la requête d'effet suspensif et de mesures provisionnelles a été rejetée. Le Plenum, le Président et le Procureur général concluent au rejet du recours. L'Etat de Genève conclut dans le même sens. La Banque cantonale de Genève et F._ s'en rapportent à justice. Les recourants ont répliqué. 