Faits: A. M._ est au bénéfice d'une rente entière de l'assurance-invalidité depuis le 1er décembre 1993. Des rentes pour ses six enfants lui ont également été versées. Par décision du 30 septembre 2010, l'Office de l'assurance-invalidité du canton de Neuchâtel (l'office AI) a réclamé à l'assuré la restitution de la somme de 53'268 fr., correspondant aux rentes perçues indûment du 1er octobre 2005 au 30 septembre 2010 pour l'enfant E._, née en 1997 et décédée en 1999. B. M._ a déféré cette décision au Tribunal administratif de la République et canton de Neuchâtel (aujourd'hui: Tribunal cantonal, Cour de droit public) en concluant à son annulation. Par jugement du 3 mai 2012, la juridiction cantonale a admis le recours et annulé la décision du 30 septembre 2010, au motif que la créance en remboursement des rentes versées à tort du 1er octobre 2005 au 30 septembre 2010 pour l'enfant E._ était périmée. C. L'office AI interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, avec suite de frais. L'intimé conclut à l'irrecevabilité du recours ou à son rejet pour le cas où le Tribunal fédéral entrerait en matière, avec suite de frais et dépens. L'Office fédéral des assurances sociales a renoncé à se déterminer. 