Sachverhalt: A. Der zwischenzeitlich pensionierte A._ (Beschwerdegegner) führte in Y._ ein Ingenieurbüro als Einzelfirma. Die Stadt X._ (Beschwerdeführerin) übertrug dem Beschwerdegegner im Januar 2006 die Bauingenieurarbeiten beim Neubau des Schulhauses Q._. Der Vertrag vom 16./20. Januar 2006 umfasste die ingenieurtechnische Bearbeitung der Tragkonstruktion sowie die Ausführungsplanung und Überwachung der Realisierung des Bauvorhabens gemäss beigelegtem Leistungsbeschrieb. Vertragsgrundlage bildete die SIA-Norm 103 (Ausgabe 2003) für Leistungen und Honorare der Bauingenieure und Bauingenieurinnen. Als Honorar wurden pauschal Fr. 100'000.-- zuzüglich Mehrwertsteuer vereinbart. Nach Beginn der Bauarbeiten liess die Baumeisterin (S._ Bauunternehmung AG) die Statik des Schulhauses durch den von ihr beauftragten Bauingenieur B._ überprüfen. Gestützt auf dessen Abklärungen mahnte sie mit Schreiben von 6. Oktober 2006 ungenügende Armierungen und die Verletzung von Betonnormen im Sinne von Art. 25 Abs. 3 SIA-Norm 118 ab. An dieser Abmahnung hielt die Baumeisterin auch nach einer Besprechung vom 11. Oktober 2006 fest. Am 23. Oktober 2006 teilte der Bauleiter C._ der Beschwerdeführerin seine Bedenken betreffend Rissbildung mit und erinnerte daran, dass in den Ausführungsplänen des Beschwerdegegners eine Stütze gefehlt habe. Daraufhin verhängte die Beschwerdeführerin einen partiellen Baustopp und beauftragte das Ingenieurbüro D._ mit der Überprüfung der Statik des Schulhauses Q._ und der Aussagen des Bauingenieurs B._. Am 31. Oktober 2006 erstattete D._ einen Vorabzug seines Berichts. Gleichentags ordnete die Beschwerdeführerin die komplette Einstellung der Bauarbeiten an. Am 14. November 2006 reichte der Beschwerdegegner eine mit Schreiben vom 2. November 2006 verlangte Stellungnahme zum Prüfungsbericht von D._ ein. In der Zwischenzeit hatte die Beschwerdeführerin das R._ Ingenieurbüro AG beauftragt, eine umfassende statische Überprüfung des Gebäudes vorzunehmen. Die R._ Ingenieurbüro AG lieferte am 4. Dezember 2006 einen ersten Zwischenbericht und am 12. Dezember 2006 einen Kurzbericht ab, worin neun Punkte in Zusammenhang mit der Tragfähigkeit und drei Punkte im Zusammenhang mit der Gebrauchsfähigkeit bemängelt wurden. Am 14. Dezember 2006 kündigte die Beschwerdeführerin den Ingenieurvertrag mit dem Beschwerdegegner fristlos. Am 11. Januar 2007 erstattete die R._ Ingenieurbüro AG einen definitiven Prüfungsbericht, den die Beschwerdeführerin u.a. als Grundlage für einen eigenen stadtinternen Bericht vom 12. Januar 2007 beizog. Der Beschwerdegegner und seine Haftpflichtversicherung gaben ihrerseits die Abklärung in Auftrag, ob die von der Beschwerdeführerin verhängten Massnahmen und die damit verbundenen Verzögerungen und Mehrkosten tatsächlich auf ein Fehlverhalten des Beschwerdegegners zurückzuführen seien. Weitere Gespräche der Parteien führten zu keiner Einigung. B. Am 20. November 2008 reichte die Beschwerdeführerin beim Handelsgericht des Kantons Zürich Klage ein mit dem Antrag, der Beschwerdegegner sei zu verpflichten, der Beschwerdeführerin den Betrag von Fr. 729'839.30 nebst Verzugszinsen zu 5 % seit 6. Oktober 2007 zu bezahlen. Der Beschwerdegegner erhob Widerklage, wonach die Beschwerdeführerin ihm Fr. 107'600.-- (Honorar), Fr. 8'468.10 (vorprozessuale Anwaltskosten) und Fr. 124'556.-- (Expertisekosten), je nebst Zins, zu bezahlen habe. Mit Urteil vom 17. November 2011 wies das Handelsgericht die Klage und ebenso die Widerklage ab. Es erwog zur Abweisung der Klage, soweit die Beschwerdeführerin ihre Klage damit begründe, dass der Beschwerdegegner die Statik des Schulhauses nicht normenkonform und den anerkannten Regeln seines Fachgebietes entsprechend errechnet habe, habe sie das Werk infolge verspäteter Rüge der Planfehler stillschweigend genehmigt. Auch die weiteren geltend gemachten Vertragsverletzungen hielt das Handelsgericht für nicht gegeben. C. Die Beschwerdeführerin beantragt mit Beschwerde in Zivilsachen, das Urteil des Handelsgerichts sei mit Bezug auf die Ziffern 1 (Klageabweisung) sowie 3 bis 5 (Kosten und Parteientschädigung) des Dispositivs aufzuheben, und es seien die Rechtsbegehren der Beschwerdeführerin vor der Vorinstanz gutzuheissen, nämlich: Der Beschwerdegegner sei zu verpflichten, der Beschwerdeführerin den Betrag von Fr. 729'839.30 nebst Verzugszinsen zu 5 % seit 6. Oktober 2007 zu bezahlen. Eventualiter beantragte sie, die Sache sei zur Neubeurteilung an die Vorinstanz zurückzuweisen. Der Beschwerdegegner beantragt, die Anträge der Beschwerdeführerin abzuweisen und das Urteil des Handelsgerichts vollumfänglich zu bestätigen. Die Vorinstanz verzichtete auf eine Vernehmlassung. 