Sachverhalt: A. Der 1981 geborene G._ meldete sich im Mai 2008 bei der Invalidenversicherung an und beantragte die Umschulung auf eine andere Tätigkeit als den erlernten handwerklichen Beruf im Baugewerbe. Mit Mitteilung vom 6. April 2009 sprach ihm die IV-Stelle des Kantons Zürich die Ausbildung zum ... an der Schule X._ vom 25. April 2009 bis 3. April 2011 zu. Gemäss den eingereichten Unterlagen arbeitete der Versicherte seit 2008 zu 100 % als ... bei der Y._ AG. Mit Verfügung vom 29. September 2009 setzte die IV-Stelle gestützt auf die Berechnung der Ausgleichskasse des Schweizerischen Baumeisterverbandes (nachfolgend: Ausgleichskasse Baumeister) das Taggeld auf Fr. 158.40 fest. Nachdem die Ausgleichskasse die Zahlungen auf Ende Juli 2010 eingestellt hatte, forderte die IV-Stelle mit Verfügung vom 23. Dezember 2010 von G._ zu Unrecht ausgerichtete Taggelder in der Höhe von Fr. 67'414.- (453 x Fr. 158.40 abzüglich Sozialversicherungsbeiträge) zurück. B. Die Beschwerde des G._ wies das Sozialversicherungsgericht des Kantons Zürich nach zweifachem Schriftenwechsel mit Entscheid vom 10. April 2012 ab. C. G._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, die Verfügung vom 23. Dezember 2010 sei aufzuheben und es sei festzustellen, dass der IV-Stelle kein Rückforderungsanspruch zusteht. Die IV-Stelle reicht eine Stellungnahme der Ausgleichskasse Baumeister ein. Das kantonale Sozialversicherungsgericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung. In einer weiteren Eingabe hat sich G._ zu den Ausführungen der Ausgleichskasse geäussert. 