Sachverhalt: A. Am 12. Juni 2006 schlossen A._ als Verkäufer (Beschwerdegegner) und die X._ AG als Käuferin (Beschwerdeführerin) einen Aktienkaufvertrag über sämtliche Namenaktien der Z._ AG mit damaligem Sitz in Y._. In Ziffer 8.4 (Standorterhaltung) des Aktienkaufvertrags sowie mit Zusatz vom 27. September 2006 bzw. 9. Oktober 2006 vereinbarten die Parteien das Folgende: "Der Käufer sorgt dafür, dass für eine Dauer von 3 Jahren ab Vollzug dieses Vertrages der Sitz von Z._ AG im Kanton Y._ verbleibt sowie die Leistungserbringung in den Bereichen des Mail-Order (Detail/ArsLibri), Export, Wiederverkauf/Bibliotheken, Galerie der schönen Bücher, Verlag/ Herstellung und Finanz/Rechnungswesen (teilweise) nicht in wesentlichem Umfang an andere Standorte verlagert oder im Wesentlichen vollständig aufgegeben werden, vorbehalten bleiben wirtschaftliche Gründe. Die Bereiche IT-Support, Fullfilment (Auftragsabwicklung bis Inkasso), Aussendienstadministration (wie z.B. Provisionsabrechnung), Adressmanagement, Auslieferung sowie Darstellung des Vertriebsgeschäfts in anderen gesellschaftsrechtlichen Einheiten zwecks Debitorenverkauf sind von der Standorterhaltungspflicht ausdrücklich nicht erfasst. Im Fall des Verstosses gegen die Standorterhaltungspflicht kann der Verkäufer vom Käufer eine Konventionalstrafe von CHF 1'000'000 verlangen, deren Zahlung von der Einhaltung der Standorterhaltungspflicht entbindet. Vorbehalten bleibt eine Verlegung des statutarischen Sitzes des Z._ nach Q._." Vollzugstag des Vertrags war der 17. Juli 2006. B. Am 4. Mai 2009 reichte der Beschwerdegegner beim Handelsgericht des Kantons Zürich Klage ein mit dem Rechtsbegehren, die Beschwerdeführerin sei zu verurteilen, dem Beschwerdegegner den Betrag von CHF 1'000'000 zuzüglich Zins zu 5 % p.a. seit 23. Januar 2009 zu bezahlen. Der Beschwerdegegner machte geltend, die Beschwerdeführerin habe innert der vereinbarten Schutzfrist von drei Jahren, d.h. bis zum 17. Juli 2009, die Standorterhaltungspflicht verletzt, indem Personal und Infrastruktur abgebaut und Organisationsstrukturen verlegt worden seien. Per 30. Juni 2009 sei der Standort Y._ vollständig aufgehoben worden. Die Beschwerdeführerin habe ihre Vertragspflicht schuldhaft verletzt, weshalb die Konventionalstrafe geschuldet sei. Die Beschwerdeführerin begehrte, die Klage abzuweisen, eventualiter die Konventionalstrafe auf einen symbolischen Betrag von CHF 1.-- herabzusetzen. Mit Urteil vom 28. Januar 2011 hiess das Handelsgericht die Klage teilweise gut und verpflichtete die Beschwerdeführerin, dem Beschwerdegegner CHF 670'000.-- nebst Zins zu 5 % seit dem 10. April 2010 zu bezahlen. Es kam zum Ergebnis, dass die Beschwerdeführerin die Standorterhaltungspflicht schuldhaft verletzt habe, weshalb die Konventionalstrafe verfallen sei. Allerdings erachtete es eine Herabsetzung der Konventionalstrafe um einen Drittel als angemessen. C. Die Beschwerdeführerin beantragt mit Beschwerde in Zivilsachen, das Urteil des Handelsgerichts aufzuheben und die Klage vollumfänglich abzuweisen. Eventualiter sei das Verfahren zur Neubeurteilung im Sinne der Erwägungen an die Vorinstanz zurückzuweisen. Der Beschwerdegegner beantragt, auf die Beschwerde nicht einzutreten; eventualiter sei sie abzuweisen. Die Vorinstanz liess sich nicht vernehmen. Die Parteien reichten eine Replik und eine Duplik ein, wobei der Beschwerdegegner beantragt, die Replik aus dem Recht zu weisen. 