Sachverhalt: A. Die Y._ System AG, Rechtsvorgängerin der Y._ AG (nachfolgend: Beschwerdegegnerin), mietete bei X._ (nachfolgend: Beschwerdeführer) mit Vertrag vom 17. November 2000 Büro- und Gewerbeflächen zu einem monatlichen Mietzins von Fr. 59'000.-- sowie 5'000.-- Nebenkosten. B. Mit Zahlungsbefehl Z._ Nr. 1 vom 23. Mai 2007 betrieb der Beschwerdeführer die Beschwerdegegnerin auf Bezahlung ausstehender Mietzinse von insgesamt Fr. 96'936.-- nebst 6% Zins seit 1. Juni 2006 und verlangte mit Eingabe vom 18. Juni 2007 provisorische Rechtsöffnung für einen "Teilbetrag von Fr. 45'936.-- nebst Zins von 5% seit 23. Mai 2007 sowie für Fr. 100.-- Zahlungsbefehlskosten", eventualiter für Fr. 5'936.-- nebst 5% Zins seit genanntem Datum und Fr. 60.-- Zahlungsbefehlskosten. Mit Verfügung vom 27. August 2007 wies der Einzelrichter Z._ das Rechtsöffnungsbegehren ab. C. Gegen diese Verfügung führte der Beschwerdeführer am 18. September 2007 Rekurs beim Kantonsgericht Schwyz. Mit Beschluss RK2 2007 117 vom 26. Mai 2008 wies das Kantonsgericht den Rekurs ab, soweit es darauf eintrat. D. Im Nachgang zur einzelrichterlichen Verfügung vom 27. August 2007 liess der Beschwerdeführer am 6./9. November 2007 gegen die Beschwerdegegnerin ein Retentionsverzeichnis errichten, und zwar für fällige Mietzinse vom 1. November 2006 bis 31. Oktober 2007 (Fr. 136'946.--) sowie laufende Zinse vom 1. November 2007 bis 30. April 2008 (Fr. 376'086.--). Mit Zahlungsbefehl Nr. 2 vom 21. November 2007 betrieb der Beschwerdeführer die Beschwerdegegnerin auf Pfandverwertung für eine Forderung von Fr. 136'946.-- nebst Zins zu 5% seit 1. November 2007, Betreibungs- und Retentionskosten von Fr. 441.-- sowie Zahlungsbefehlskosten von Fr. 200.--. Dagegen erhob die Beschwerdegegnerin am 23. November 2007 Rechtsvorschlag. E. Am 3. Januar 2008 ersuchte der Beschwerdeführer den Einzelrichter des Bezirksgerichts Z._ um Erteilung der provisorischen Rechtsöffnung für den Betrag von Fr. 136'946.-- zuzüglich Zins zu 5% seit 1. November 2007, Retentionskosten von Fr. 441.-- sowie Zahlungsbefehlskosten von Fr. 200.--. Mit Verfügung vom 31. März 2008 erteilte der Einzelrichter provisorische Rechtsöffnung für einen Forderungsanteil von Fr. 96'000.-- nebst Zins zu 5% seit 1. November 2007, Zahlungsbefehlskosten von Fr. 200.-- sowie Retentionskosten von Fr. 441.--. F. Dagegen erhob die Beschwerdegegnerin am 18. April 2008 Rekurs und beantragte die Abweisung des Rechtsöffnungsbegehrens, soweit darauf einzutreten sei, eventualiter die Zurückweisung an die erste Instanz zu neuer Beurteilung. Mit Beschluss RK2 2008 35 vom 4. März 2009 hiess das Kantonsgericht Schwyz den Rekurs gut und wies das Rechtsöffnungsbegehren des Beschwerdeführers ab. G. Mit Beschwerde vom 22. April 2009 beantragt der Beschwerdeführer dem Bundesgericht die Aufhebung des kantonsgerichtlichen Beschlusses und die Erteilung der provisorischen Rechtsöffnung für den Betrag von Fr. 96'000.--. Das Kantonsgericht schliesst in seiner Vernehmlassung vom 16. September 2009 auf Abweisung der Beschwerde, die Beschwerdegegnerin in ihrer Vernehmlassung vom 1. Dezember 2009 auf Abweisung, soweit darauf einzutreten sei. 