Sachverhalt: A. Am 15. November 2007 schlossen die X._ AG (Beschwerdeführerin) und die Z._ mbH als Verkäuferinnen mit der Y._ (Beschwerdegegnerin) als Käuferschaft einen Vorvertrag, in welchem sich die Vertragsparteien bis spätestens 31. März 2008 zum Abschluss von zwei Kaufverträgen verpflichteten. Der von der Beschwerdeführerin als Verkäuferin zu schliessende Vertrag betraf die Liegenschaft Q._ in R._. Vom Kaufpreis für die Liegenschaft einschliesslich Hotelinventar und Mobiliar ohne Restaurantinventar von EUR 18'710'000.-- waren EUR 250'000.-- bereits bezahlt. EUR 2'900'000.-- sollten am 19. November 2007 der Verkäuferschaft überwiesen werden. Dieser Betrag diente ausschliesslich dem Rückkauf einer auf dem Kaufobjekt begründeten und veräusserten Stockwerkeinheit, damit die gesamte Liegenschaft übernommen werden könnte. Ein weiterer, noch festzusetzender Betrag sollte zur Sicherstellung der Wertzuwachssteuern dem Notar überwiesen werden, der Restbetrag der Verkäuferin, beides Zug um Zug, gegen den Grundbucheintrag des Kaufvertrages. Die letzten beiden Kaufpreisraten waren bis spätestens fünf Tage vor Unterzeichnung des Kaufvertrages mit unwiderruflichen Zahlungsversprechen von der Käuferin sicherzustellen. Die Höhe der Wertzuwachssteuern hatte die Beschwerdeführerin bis spätestens am 28. Februar 2008 durch die Steuerverwaltung ermitteln zu lassen und betragsmässig in den Kaufvertrag aufzunehmen. In Ziff. IV/2.1 des Vorvertrages vereinbarten die Parteien, die Beschwerdeführerin habe der Beschwerdegegnerin die Anzahlung von EUR 2'900'000.-- zurückzuerstatten, sofern das Zustandekommen oder der Vollzug der Kaufverträge daran scheitern sollte, dass die Verkäuferin die heute nicht in ihrem Eigentum stehende Wohnung nicht zurückkaufen könne. B. Am 19. März 2008 teilte der Rechtsberater der Beschwerdegegnerin dem Verwaltungsratspräsidenten der Beschwerdeführerin mit, er werde am Freitag in R._ sein, und er bat um die notwendigen Informationen, um alles für die ausstehenden Zahlungen vorbereiten zu können. Er müsse wissen, ob die sich im Stockwerkeigentum befindliche Wohnung zurückgekauft worden sei und das vollständige Eigentum erworben werden könne und wie hoch der Betrag für die Steuerbehörde sei. Gleichentags antwortete der Verwaltungsratspräsident in einer E-Mail, er wisse seit dem Morgen, dass er die kleine Wohnung im Haus nicht kaufen könne. Der Eigentümer wolle nicht verkaufen, er wisse nicht warum. Damit hätten sie zwei Möglichkeiten: Entweder die Liegenschaft zu einem um EUR 2'500'000.-- geringeren Preis als vereinbart ohne die fragliche Wohnung zu erwerben oder aber auf einen Kauf zu verzichten unter Rückzahlung des Betrags von EUR 2'900'000.--. Das Steuerproblem werde am nächsten Tag erledigt werden. Der Verwaltungsratspräsident erbat eine Rückmeldung, was die Beschwerdegegnerin zu tun gedenke, entschuldigte sich für die ganze Angelegenheit und fügte an, alles getan zu haben, um die Wohnung zurückkaufen zu können. Daraufhin eröffnete die Beschwerdegegnerin der Beschwerdeführerin mit Schreiben vom 25. März 2008, sie trete von den vereinbarten Käufen zurück, da die Gegenpartei die vertraglichen Abmachungen verletzt habe und ausser Stande sei, die eingegangenen Verpflichtungen zu erfüllen. C. Da sich die Parteien über die Rückabwicklung des Vorvertrages nicht einigen konnten, verlangte die Beschwerdegegnerin von der Beschwerdeführerin Fr. 7'001'659.50 nebst Zins als Rückzahlung der geleisteten Anzahlungen von EUR 250'000.-- und EUR 2'900'000.-- und Schadenersatz. Sowohl das Bezirksgericht Maloja als auch das Kantonsgericht von Graubünden hiessen die Klage übereinstimmend teilweise gut. Das Kantonsgericht brachte im Vergleich zum Bezirksgericht eine geringfügige Korrektur bezüglich des Schadenpostens für Übersetzungskosten an, den es nicht als nachgewiesen erachtete, und sprach der Beschwerdegegnerin Fr. 5'141'656.10 nebst Zins zu. D. Mit Beschwerde in Zivilsachen beantragt die Beschwerdeführerin im Wesentlichen, die Klage abzuweisen. Ihr Gesuch um aufschiebende Wirkung wies das Bundesgericht ab, ebenso wie den Antrag der Beschwerdegegnerin, die aufschiebende Wirkung gegen Sicherstellung des geschuldeten Betrages zu gewähren. Die Beschwerdegegnerin schliesst auf kostenfällige Abweisung der Beschwerde, während das Kantonsgericht auf Vernehmlassung verzichtet. 