Sachverhalt: A. Mit Vertrag vom 20. März 2009 mietete die - mittlerweile in Liquidation befindliche - Stiftung A._ (Mieterin, Beschwerdeführerin) von der B._ AG (Vermieterin, Beschwerdegegnerin) das sogenannte Haus C._ in U._. Der Jahresmietzins betrug gemäss dem Vertrag für das erste Jahr Fr. 1'000'000.-- und ab dem zweiten Jahr Fr. 1'380'000.--. B. Am 12. Juni 2009 stellte die Mieterin bei der Schlichtungsbehörde für Mietverhältnisse des Bezirks Prättigau/Davos ein Begehren um Herabsetzung des Anfangsmietzinses im Sinne von Art. 270 OR. Die Parteien wurden zur Schlichtungsverhandlung auf den 16. Oktober 2009 eingeladen. Mit Entscheid von diesem Datum schrieb die Schlichtungsbehörde das Schlichtungsverfahren "aufgrund des Rückzugs des Begehrens durch Nichterscheinen der Gesuchstellerin zur Verhandlung" ab. Zur Begründung führte sie aus, der für die Mieterin allein zur Schlichtungsverhandlung erschienene D._ verfüge lediglich über die Vertretungsbefugnis durch Kollektivunterschrift zu zweien. Ein Gesuch um Dispens für die Verhandlung habe die Mieterin nicht gestellt. Der Schlichtungsbehörde sei auch keine Vollmacht vorgelegt worden. Die Mieterin gelte daher als unentschuldigt nicht erschienen und ihr Gesuch als zurückgezogen. Mit Eingabe vom 13. November 2009 klagte die Mieterin beim Bezirksgericht Prättigau/Davos auf Herabsetzung des Jahresmietzinses auf Fr. 605'000.--, unter Vorbehalt einer weitergehenden Reduktion. Das Bezirksgericht trat - nach einem Zwischenverfahren wegen Eröffnung des Konkurses über die Mieterin - am 18. März 2010 auf die Klage nicht ein, im Wesentlichen mit der Begründung, der Abschreibungsentscheid der Mietschlichtungsbehörde sei unangefochten geblieben und in Rechtskraft erwachsen. Die Mieterin focht diesen Entscheid des Bezirksgerichts beim Kantonsgericht von Graubünden an, welches die kantonale Beschwerde mit Urteil vom 22. September 2011 abwies, soweit es darauf eintrat. Hiergegen gelangte die Mieterin an das Bundesgericht, das seinerseits die Beschwerde in Zivilsachen abwies, soweit es darauf eintrat (Urteil 4A_653/2011 vom 16. April 2012). C. Mit Eingabe vom 15. Juni 2012 unterbreitete die Mieterin der Schlichtungsbehörde für Mietsachen des Bezirks Prättigau/Davos erneut ein Begehren um Herabsetzung des Anfangsmietzinses auf Fr. 605'000.--. Die Schlichtungsbehörde stellte am 31. August 2012 die Klagebewilligung aus, unter Feststellung, dass sich die Parteien nicht geeinigt hätten. Die Mieterin erhob sodann am 3. Oktober 2012 beim Bezirksgericht Prättigau/Davos Klage, mit der sie die im Schlichtungsverfahren gestellten Rechtsbegehren wiederholte. Mit Entscheid vom 4. Juli 2013 trat das Bezirksgericht auf die Klage nicht ein, in der Erwägung, bei Einreichung des Schlichtungsgesuchs vom 15. Juni 2012 sei die Frist zur Anfechtung des Anfangsmietzinses gemäss Art. 270 Abs. 1 OR abgelaufen gewesen. Auf die hiergegen erhobene Berufung der Mieterin trat das Kantonsgericht von Graubünden mit Entscheid vom 31. März 2014 nicht ein. D. Die Mieterin beantragt mit Beschwerde in Zivilsachen, der Entscheid des Kantonsgerichts vom 31. März 2014 sei aufzuheben. Das Kantonsgericht sei "zu verpflichten, auf die Berufung vom 16. September 2013 der Beschwerdeführerin in der Sache einzutreten". Es wurden keine Vernehmlassungen zur Beschwerde eingeholt. 