Faits: A. A.a. M._ travaillait comme maçon au service de la société X._ SA depuis le 1er avril 2005. A ce titre, il était assuré obligatoirement contre le risque d'accident auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA). Le 29 janvier 2007, il a été victime d'un accident. Alors qu'il se trouvait sur une échelle, il a glissé latéralement contre un panneau, ce qui a provoqué sa chute. Il a subi une luxation du coude droit avec fracture de la tête radiale et lésions vasculaires brachiales ayant nécessité une ré-anastomose vasculaire et une fasciotomie de l'avant-bras droit. Les lésions capsulo-ligamentaires liées à la luxation du coude ont été suturées et stabilisées par fixateur externe. Malgré une évolution favorable, une reprise du travail à but thérapeutique a échoué. Le 29 janvier 2008, M._ a présenté une demande de rente de l'assurance-invalidité. Celle-ci lui a accordé une mesure d'orientation professionnelle auprès du Centre Y._ pour la période du 1er au 19 septembre 2008. L'assuré a ensuite séjourné à la Clinique Z._ du 16 avril au 20 mai 2009. Les médecins de la clinique lui ont reconnu une incapacité de travail totale dans son ancienne activité de maçon. En revanche, dans une activité adaptée, sa capacité de travail était de 100 %, éventuellement avec une diminution de rendement de 20 % au maximum. Le 28 juin 2010, l'Office de l'assurance-invalidité a informé l'assuré qu'il bénéficierait d'une aide au placement sous la forme d'une orientation et d'un soutien dans ses recherches d'emploi. Cependant, au mois d'août 2010, l'intéressé a déclaré être en arrêt de travail et ne pas s'être annoncé à l'assurance-chômage. En conséquence, l'office a décidé de mettre fin à l'aide au placement par décision du 3 novembre 2010. Cette décision a été communiquée à la CNA. Auparavant, par décision du 8 septembre 2010, la CNA avait accordé à M._ une rente d'invalidité fondée sur une incapacité de gain de 21 % dès le 1er juin 2010, ainsi qu'une indemnité pour atteinte à l'intégrité d'un taux de 17,5 %. L'assuré a formé une opposition que la CNA a rejetée par une nouvelle décision, du 10 décembre 2010. A.b. Par la suite, l'assurance-invalidité a mis en oeuvre des stages d'observation professionnelle, à partir du 23 mai 2011, avec augmentation progressive du taux d'activité. Du 1er novembre 2011 au 30 avril 2012, elle a pris en charge les coûts d'une formation (cours de français et d'informatique). En raison de ces mesures, l'assuré a bénéficié d'indemnités journalières de l'assurance-invalidité à partir du 23 mai 2011. Par décision du 23 novembre 2011, la CNA a suspendu le versement de la rente avec effet au 23 mai 2011. Elle a demandé à son assuré la restitution des rentes allouées au-delà de cette date, soit un montant de 5'726 fr. 15, dont elle estimait qu'il avait été versé à tort. Par décision du 27 janvier 2012, elle a écarté une opposition formée par l'assuré. B. L'assuré a recouru contre cette décision devant le Tribunal cantonal de la République et canton de Neuchâtel. Par arrêt du 14 novembre 2012, la Cour de droit public de ce tribunal a admis le recours et a annulé les décisions de la CNA. C. La CNA exerce un recours en matière de droit public dans lequel elle conclut à l'annulation de ce jugement et au rétablissement de sa décision sur opposition du 27 janvier 2012. M._ conclut au rejet du recours sous suite de frais et dépens. 