Faits: A. A._ a travaillé en qualité de poissonnier au service de l'entreprise X._ depuis le 1er août 1984. A ce titre, il était assuré contre le risque d'accident auprès de la Mobilière Suisse Société d'Assurances (ci-après: la Mobilière). Le 29 mai 2001, il a été victime d'un accident de la circulation. Alors qu'il circulait au volant de sa voiture à une vitesse de 45 à 50 km/h, il a perdu la maîtrise de son véhicule en voulant éviter un autre véhicule qui roulait en sens inverse sur sa voie de circulation. Sa voiture a alors traversé la chaussée, a percuté un mur de soutènement bordant la route et a fini par s'immobiliser une vingtaine de mètres plus loin. L'assuré a été conduit au Centre hospitalier Y._ par la police. Dans un rapport du 12 juillet 2001, le docteur T._, spécialiste en médecine interne, a fait état d'une entorse cervicale avec cervico-brachialgies à droite sur hernie discale C5-C6 et de paresthésies à la main droite. La Mobilière a pris en charge le cas. L'assuré a été entièrement incapable de travailler jusqu'au 7 juin 2001, date à laquelle il a repris son activité à 50 %. Après un séjour à la Clinique Z._; du 22 mai au 12 juin 2002), il a repris son activité à 50 % le 17 juin 2002 mais l'a interrompue après quelques heures. La Mobilière a confié des expertises au docteur C._, spécialiste en chirurgie orthopédique (rapport du 23 juin 2003), ainsi qu'au docteur B._, spécialiste en psychiatrie et psychothérapie (rapport du 21 juillet 2003). Par décision du 23 février 2004, confirmée sur opposition le 19 juillet suivant, la Mobilière a supprimé le droit de l'assuré aux prestations d'assurance à partir du 31 décembre 2003, motif pris de l'absence d'un lien de causalité naturelle et adéquate entre l'accident et les troubles existant après cette date. De son côté, l'office AI a reconnu le droit de l'intéressé à une rente entière d'invalidité du 1er mai 2002 au 31 août 2003 et à un quart de rente - fondée sur un taux d'invalidité de 41 % - dès le 1er septembre 2003 (décision du 18 décembre 2007). B. Saisie d'un recours de l'assuré contre la décision sur opposition de la Mobilière, la Cour des assurances sociales du Tribunal cantonal du canton de Vaud a confié une expertise au docteur F._, chef de clinique à la Clinique et policlinique d'orthopédie et de chirurgie de l'appareil moteur de l'Hôpital W._. Cette expertise, conduite par le docteur M._, chef de clinique, et supervisée par le docteur F._, a fait l'objet d'un rapport déposé le 14 juillet 2008 et complété le 10 février 2009. Le 15 mai 2009, la Mobilière a informé le tribunal que l'assuré avait fait l'objet de procédures de surveillance par un détective privé du 28 octobre au 15 novembre 2005 et du 9 septembre au 17 octobre 2008, auxquelles, il fallait ajouter un constat réalisé au mois d'avril 2007 à l'occasion de l'exécution d'un autre mandat. Deux rapports de surveillance (des 18 novembre 2005 et 24 octobre 2008) et un dossier photographique ont été produits. Le 18 août 2009, l'assuré a produit un rapport d'expertise du 30 juillet 2009 établi par la doctoresse U._, médecin au Département de psychiatrie du Centre d'expertises de Y._, dans la cause opposant l'intéressé à l'Office de l'assurance-invalidité pour le canton de Vaud. De son côté, la Mobilière a produit un rapport d'expertise biomécanique établi le 19 octobre 2006 par l'institut "Arbeitsgruppe für Unfallmechanik", ainsi qu'un rapport du docteur C._ du 26 septembre 2009. La juridiction cantonale a requis des renseignements complémentaires auprès du docteur D._, médecin-chef au Service d'anesthésiologie et antalgie de l'Ensemble hospitalier V._, et médecin traitant de l'assuré (rapport du 11 janvier 2010) et confié une expertise complémentaire au docteur M._ (rapport du 20 avril 2010). Le tribunal cantonal a ordonné, le 10 février 2011, une audience au cours de laquelle il a entendu le docteur M._, ainsi que E._, détective privé qui avait effectué le mandat de surveillance confié par la Mobilière. Par jugement du 10 février 2011, la juridiction cantonale a rejeté le recours (ch. I du dispositif) et confirmé la décision sur opposition du 19 juillet 2004 (ch. II). C. A._ interjette un recours en matière de droit public en concluant à la réformation du ch. II du dispositif du jugement attaqué en ce sens que l'intimée est tenue d'allouer ses prestations dès le 1er janvier 2004. Subsidiairement, il demande l'annulation du ch. II du dispositif du jugement attaqué et le renvoi de la cause à l'autorité compétente pour nouvelle décision, le tout sous suite de frais et dépens, lesquels comprendront une indemnité pour la procédure cantonale. L'intimée conclut au rejet du recours sous suite de frais et dépens. La juridiction cantonale et l'Office fédéral de la santé publique ont renoncé à présenter des déterminations. Le 24 mai 2011, la juridiction cantonale a confirmé la décision de l'office AI du 18 décembre 2007. Le 6 octobre 2011, le recourant a fait part au Tribunal fédéral de ses observations sur la réponse de l'intimée. Celle-ci a renoncé à répondre à ces observations, tout en exposant son point de vue sur la cause. D. Par arrêt de ce jour, le Tribunal fédéral a rejeté le recours de l'assuré contre le jugement cantonal du 24 mai 2011 en matière d'assurance-invalidité (8C_525/2011). 