Faits: A. F._ a travaillé en qualité de gérant d'immeuble au service de Z._ et exerçait en outre une activité d'administrateur-gérant, à raison de douze heures hebdomadaires environ, pour le compte de la coopérative d'habitation X._, à B._, jusqu'au 31 août 2002, date à laquelle il a été licencié pour ces deux activités. Il a bénéficié ensuite d'une indemnité de chômage et était, à ce titre, assuré contre le risque d'accident auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA). Le 12 juin 2004, F._ a chuté sur le bras gauche. Il a été opéré le jour suivant à l'Hôpital Y._, à B._, où les médecins ont diagnostiqué une luxation du coude gauche avec fracture comminutive de la tête radiale et déchirure du ligament collatéral cubital avec instabilité sèvère du coude (rapport du 15 juillet 2004). La CNA a pris en charge le cas. Les suites de l'accident se sont compliquées par une neuropathie cubitale sévère et une algoneurodystrophie du membre supérieur gauche. Dans un rapport du 16 septembre 2008, le docteur D._, médecin d'arrondissement de la CNA, a indiqué que l'activité de gérant d'immeuble n'était plus exigible et que l'assuré ne pourrait plus reprendre un travail nécessitant l'utilisation du membre supérieur gauche. En revanche, un emploi dans le domaine de la surveillance ou toute activité intellectuelle étaient exigibles sans limitation. Par décision du 16 février 2009, la CNA a accordé à F._, à compter du 1er août 2008, une rente fondée sur un taux d'incapacité de gain de 58 % et sur un gain annuel assuré de 99'296 fr. Saisie d'une opposition, la CNA, en concertation avec l'Office de l'assurance-invalidité du canton de Neuchâtel, a confié une expertise pluridisciplinaire auprès de W._. Sur le plan somatique, les experts ont indiqué que l'assuré n'était plus en mesure d'exercer son activité habituelle. En revanche, ils ont conclu à une capacité entière dans une activité adaptée au handicap. Par ailleurs, ils ont nié l'existence d'un lien de causalité naturelle entre l'atteinte psychique (épisode dépressif moyen avec syndrome somatique) et l'accident survenu le 12 juin 2004 (rapport du 21 janvier 2010). Par décision du 2 août 2010, la CNA a partiellement admis l'opposition en ce sens que le montant du gain annuel assuré a été porté à 104'576 fr. au lieu de 99'296 fr. B. Saisie d'un recours de F._, la Cour de droit public du Tribunal cantonal du canton de Neuchâtel l'a partiellement admis et il a réformé la décision sur opposition attaquée en ce sens que le gain annuel assuré a été fixé à 106'800 fr. Elle a rejeté le recours pour le surplus. C. L'assuré interjette un recours en matière de droit public en concluant, sous suite de frais et dépens, à l'annulation du jugement cantonal. Il demande que le revenu réalisé au service de X._ soit également pris en compte dans le calcul du gain sans invalidité. En outre, il conclut au renvoi de la cause à la CNA pour instruction complémentaire au sujet du revenu d'invalide et nouvelle décision au sens des considérants. La CNA conclut au rejet du recours, tandis que l'Office fédéral de la santé publique a renoncé à présenter des déterminations. 