Faits: A. Le 24 octobre 1997, la banque X._ a déposé plainte pénale notamment contre A._ pour gestion déloyale, diminution effective de l'actif au préjudice des créanciers et gestion fautive. Le 10 novembre 1998, la banque Y._ et la banque Z._ se sont jointes à la procédure en qualité de plaignantes. Le 20 décembre 2004, A._ a été renvoyé devant le Tribunal pénal économique du canton de Fribourg pour diminution effective de l'actif au préjudice des créanciers, éventuellement gestion déloyale ou gestion fautive et avantages accordés à certains créanciers. Par jugement du 13 février 2007, ce tribunal l'a reconnu coupable de complicité de gestion fautive et il l'a acquitté des chefs de prévention de diminution effective de l'actif au préjudice des créanciers et de gestion déloyale. Il l'a ainsi condamné à une peine pécuniaire de 90 jours-amende, le jour-amende étant fixé à 250 fr., avec sursis pendant deux ans. Par arrêt du 4 juin 2009, la Cour d'appel pénal du Tribunal cantonal fribourgeois a admis le recours de A._ en ce sens qu'elle l'a acquitté des chefs de prévention de diminution effective de l'actif au préjudice des créanciers, de gestion fautive et de gestion déloyale. Statuant sur recours du Ministère public de l'Etat de Fribourg, la Cour de droit pénal du Tribunal fédéral a annulé cet arrêt, considérant en substance que la violation du principe d'accusation constatée par la Cour d'appel ne devait pas conduire automatiquement à un acquittement (arrêt 6B_657/2009 du 13 août 2009). Statuant à nouveau par arrêt du 9 mars 2010, la Cour d'appel a annulé le jugement du 13 février 2007 et renvoyé la cause au Tribunal pénal économique pour nouveau jugement. B. Par courrier du 10 juin 2010, le Président du Tribunal pénal économique, B._, a annoncé aux parties que le nouveau jugement serait rendu par les mêmes juges qui avaient statué le 13 février 2007. A._ a alors formé une demande de récusation, que le Président du Tribunal pénal économique a transmise au Tribunal cantonal. Ce tribunal ayant décliné sa compétence le 22 septembre 2010, la demande de récusation en cause a été renvoyée au Tribunal pénal économique, qui l'a admise par jugement du 9 novembre 2010. Par mandat du 16 décembre 2010, notifié le 20 décembre 2010, A._ a été cité à comparaître aux débats du Tribunal pénal économique début février 2011. Ce mandat indiquait la composition du tribunal et impartissait "un délai au 4 janvier 2011 non prolongeable" pour requérir l'administration d'autres preuves, indiquer de manière précise l'objet de celles-ci et faire connaître, sous peine de déchéance, les questions préliminaires qu'il entendait soulever. Par courrier du 22 décembre 2010, le mandataire de A._ a requis une prolongation de ce délai au motif que son client serait absent à l'étranger pendant les fêtes, du 25 décembre 2010 au 8 janvier 2011, et qu'il n'aurait donc pas le temps nécessaire pour préparer avec lui l'administration des preuves et les questions préliminaires. Le 4 janvier 2011, le Président du Tribunal pénal économique a confirmé que le délai était non prolongeable. Le 17 janvier 2011, A._ a demandé la récusation du Président du Tribunal pénal économique, B._, et éventuellement celle des autres juges de ce tribunal. Il reprochait au premier d'avoir refusé de statuer sur sa demande de prolongation de délai et de lui avoir imparti un délai insuffisant pour la préparation de sa défense. Il sollicitait la récusation des autres juges du Tribunal pénal économique dans la mesure où leurs relations contractuelles avec les institutions bancaires parties à la procédure allaient au-delà d'une simple gestion d'un compte bancaire. Le 27 janvier 2011, il a précisé que la requête de récusation visait le président B._, le juge C._ et le greffier ad hoc D._. Par arrêt du 31 janvier 2011, la Chambre pénale du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal) a déclaré la demande de récusation irrecevable parce que tardive. C. Par jugement du 11 février 2011, le Tribunal pénal économique a reconnu A._ coupable de gestion fautive et l'a condamné à une peine pécuniaire de 60 jours-amende, le jour-amende étant fixé à 250 fr., avec sursis pendant deux ans. D. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler l'arrêt du Tribunal cantonal du 31 janvier 2011 et d'admettre la demande de récusation du 17 janvier 2011, subsidiairement de renvoyer la cause au Tribunal pénal économique pour nouvelle décision. Il se plaint d'une violation des art. 58 et 59 du Code de procédure pénale suisse du 5 octobre 2007 (CPP; RS 312.0) en relation avec l'art. 29 Cst. Il se plaint également d'une violation de son droit d'être entendu. Le Ministère public de l'Etat de Fribourg a présenté des observations. Le Tribunal cantonal et C._ y ont renoncé. B._ et D._ se réfèrent aux déterminations qu'ils avaient produites devant l'instance précédente. Le recourant a présenté des observations complémentaires. 