Sachverhalt: A. Mit Eingabe vom 10. August 2006 erhob die in Athen wohnhafte A._ (Beschwerdegegnerin; Klägerin) beim Einzelrichter in Zivilsachen am Bezirksgericht Zürich gegen die damalige Y._ Bank AG Klage auf Auskunftserteilung sowie Akteneinsicht und -edition im Zusammenhang mit den Bankbeziehungen ihres verstorbenen Vaters B._. Im Einzelnen stellte sie folgende Rechtsbegehren: "1. Es sei die Beklagte unter Androhung der Verzeigung zur Bestrafung gemäss Art. 292 StGB im Falle des Ungehorsams zu verpflichten, a) der Klägerin - mit Ausnahme der Konto-/Depotbeziehung D._ 365365 - sämtliche bei ihr (der Beklagten) heute und/oder in der Vergangenheit geführten Konti, Depots, Schrankfächer und/oder weitere Vermögensträger bekannt zu geben, die auf den Namen von B._, gestorben am 16. Dezember 2002, wohnhaft gewesen in C._, Griechenland (nachfolgend: "Erblasser") lauten bzw. lauteten oder für ihn unter einer Fantasie- oder Nummernbezeichnung geführt werden bzw. wurden; gemeinsam auf den Namen des Erblassers und den/die Namen eines/mehrerer Dritten lauten bzw. lauteten oder gemeinsam für den Erblasser und den/die Dritten unter einer Fantasie- oder Nummernbezeichnung geführt werden bzw. wurden; b) der Klägerin - mit Ausnahme der Konto-/Depotbeziehung D._ 365365 - sämtliche bei ihr (der Beklagten) heute und/oder in der Vergangenheit geführten Konti, Depots, Schrankfächer und/oder weitere Vermögensträger bekannt zu geben, an denen der Erblasser allein oder zusammen mit anderen Personen wirtschaftlich berechtigt war, also namentlich auch solche Konti, Depots, Schrankfächer und/oder weitere Vermögensträger, die auf den Namen eines Dritten lauten bzw. lauteten (z.B. Stiftungen, offshore Gesellschaften etc.) und/oder solche mit Fantasie- und/oder Nummernbezeichnung; c) der Klägerin umfassend Rechenschaft abzulegen über ihre Tätigkeit im Zusammenhang mit Vermögenswerten, an denen der Erblasser, allein oder zusammen mit anderen Personen, rechtlich und/oder wirtschaftlich berechtigt war, mit Ausnahme der Tätigkeit der Beklagten betreffend die Konto-/ Depotbezeichnung D._ 365365; d) der Klägerin umfassend Rechenschaft abzulegen über ihre Tätigkeit im Zusammenhang mit Vermögenswerten, die bei ihr (der Beklagten) heute und/oder in der Vergangenheit unter der Konto-/Depotbeziehung E._ 63, F._ 777 und G._ 1 gehalten werden bzw. wurden; e) sämtliche aus den Geschäftsbeziehungen gemäss a), b), c) und d) vorstehend herrührenden, in ihrem Besitze befindlichen Akten, insbesondere Konto-/Depoteröffnungsunterlagen, Konto-/Depotauszüge, Verträge Formulare A, Unterschriftskarten, Vollmachten, Kundenaufträge, Korrespondenzen, Besuchs-, Telefonnotizen usw. unverzüglich herauszugeben, mit Ausnahme der Akten betreffend die Konto-/Depotbeziehung D._ 365365." Die Y._ Bank AG wurde per 1. April 2007 von der X._ Bank SA (Beschwerdeführerin; Beklagte) übernommen. Mit ihrer (nicht einlässlichen) Klageantwort erhob die Y._ Bank AG die Einrede der fehlenden örtlichen und internationalen Zuständigkeit und stellte den Antrag, es sei auf die Klage nicht einzutreten. Das Bezirksgericht (7. Abteilung) verwarf mit Beschluss vom 19. September 2007 diese Einrede und setzte der Beschwerdeführerin Frist zur Einreichung einer (umfassenden) Klageantwort an. B. Gegen diesen Beschluss rekurrierte die Beschwerdeführerin an das Obergericht des Kantons Zürich mit folgenden Anträgen: "Es sei der angefochtene Beschluss aufzuheben und auf die Klage nicht einzutreten und es sei der Rekurrentin die Frist zur Erstattung der Klageantwort abzunehmen, eventualiter sei der angefochtene Beschluss aufzuheben und auf die Klage nicht einzutreten bezüglich Ziff. 1 lit. b des Klagebegehrens sowie bezüglich Ziff. 1 lit. c, d, und e, soweit sie sich auf Konti, Depots, Schrankfächer und/oder andere Vermögensträger beziehen, welche weder auf den Namen von B._ alleine oder zusammen mit einem Dritten lauten, noch von der Rekurrentin für ihn oder für ihn und einen Dritten unter einer Fantasie- oder Nummernbezeichnung geführt werden bzw. wurden." Mit Beschluss vom 7. August 2008 wies das Obergericht den Rekurs ab und bestätigte den Beschluss des Bezirksgerichts. Die Beschwerdeführerin erhob kantonale Nichtigkeitsbeschwerde an das Kassationsgericht des Kantons Zürich, das die Beschwerde mit Zirkulationsbeschluss vom 8. April 2009 abwies, soweit es darauf eintrat. C. Die Beschwerdeführerin erhebt gegen den Beschluss des Obergerichts vom 7. August 2008 und den Zirkulationsbeschluss des Kassationsgerichts vom 8. April 2009 Beschwerde in Zivilsachen mit folgenden Anträgen: "1. Es seien die angefochtenen Beschlüsse aufzuheben und a) es sei auf das Klagebegehren Ziff. 1 lit. b nicht einzutreten; b) es sei auf das Klagebegehren Ziff. 1 lit. c nicht einzutreten, soweit die Beschwerdegegnerin von der Beschwerdeführerin verlangt, umfassend über ihre Tätigkeit Rechenschaft im Zusammenhang mit Vermögenswerten abzulegen, an denen B._ allein oder zusammen mit anderen Personen wirtschaftlich und nicht vertraglich berechtigt war; c) es sei auf das Klagebegehren Ziff. 1 lit. d nicht einzutreten, soweit die Beschwerdegegnerin ihren Anspruch damit begründet, B._ sei an den Vermögenswerten, die bei der Beschwerdeführerin angeblich heute und/oder in der Vergangenheit unter der Konto-/Depotbeziehung E._ 63, F._ 777 und G._ 1 gehalten werden bzw. wurden, wirtschaftlich und nicht vertraglich berechtigt gewesen; d) es sei auf das Klagebegehren Ziff. 1 lit. e nicht einzutreten, soweit die Beschwerdegegnerin die unverzügliche Herausgabe sämtlicher aus den Geschäftsbeziehungen gemäss Klagebegehren Ziff. 1 lit. b herrührenden, in ihrem Besitze befindlichen Akten, insbesondere Konto-/Depoteröffnungsunterlagen, Konto-/Depotauszüge, Verträge, Formulare A, Unterschriftskarten, Vollmachten, Kundenaufträge, Korrespondenzen, Besuchs-, Telefonnotizen usw. verlangt; e) es sei auf das Klagebegehren Ziff. 1 lit. e nicht einzutreten, soweit die Beschwerdegegnerin die unverzügliche Herausgabe sämtlicher aus den Geschäftsbeziehungen gemäss Klagebegehren Ziff. 1 lit. c herrührenden, in ihrem Besitze befindlichen Akten, insbesondere Konto-/Depoteröffnungsunterlagen, Konto-/Depotauszüge Verträge, Formulare A, Unterschriftskarten, Vollmachten, Kundenaufträge, Korrespondenzen, Besuchs-, Telefonnotizen usw. verlangt, die aus ihrer Tätigkeit im Zusammenhang mit Vermögenswerten herrühren, an denen gemäss der Begründung der Beschwerdegegnerin B._, allein oder zusammen mit anderen Personen, wirtschaftlich und nicht vertraglich berechtigt gewesen sei; f) es sei auf das Klagebegehren Ziff. 1 lit. e nicht einzutreten, soweit die Beschwerdegegnerin die unverzügliche Herausgabe sämtlicher aus den Geschäftsbeziehungen gemäss Klagebegehren Ziff. 1 lit. d herrührenden, in ihrem Besitze befindlichen Akten, insbesondere Konto-/Depoteröffnungsunterlagen, Konto-/Depotauszüge, Verträge, Formulare A, Unterschriftskarten, Vollmachten, Kundenaufträge, Korrespondenzen, Besuchs-, Telefonnotizen usw. zu den Konti E._ 63, F._ 777 und G._ 1, verlangt und diesen Anspruch mit einer wirtschaftlichen, nicht einer vertraglichen Berechtigung begründet." Die Beschwerdeführerin anerkennt die Zuständigkeit der schweizerischen Gerichte wie folgt: "Die Beschwerdeführerin anerkennt die Zuständigkeit der Schweizer Gerichte bezüglich Klagebegehren Ziff. 1 lit. a. Die Beschwerdeführerin anerkennt die Zuständigkeit der Schweizer Gerichte bezüglich Klagebegehren Ziff. 1 lit. c soweit, als die Beschwerdegegnerin von ihr umfassend Rechenschaft über ihre Tätigkeit im Zusammenhang mit Vermögenswerten abzulegen verlangt, an denen B._ (in der Folge "der Erblasser") allein oder zusammen mit anderen Personen vertraglich, nicht bloss wirtschaftlich berechtigt gewesen sein soll. Die Beschwerdeführerin anerkennt die Zuständigkeit der Schweizer Gerichte bezüglich Klagebegehren Ziff. 1 lit. d soweit, als die Beschwerdegegnerin von ihr umfassend Rechenschaft über ihre Tätigkeit im Zusammenhang mit Vermögenswerten abzulegen verlangt, an denen der Erblasser allein oder zusammen mit anderen Personen vertraglich, nicht bloss wirtschaftlich berechtigt gewesen sein soll, die bei ihr unter der Konto-/Depotbeziehung E._ 63, F._ 777 und G._ 1 gehalten werden bzw. wurden. Die Beschwerdeführerin anerkennt die Zuständigkeit der Schweizer Gerichte bezüglich Klagebegehren Ziff. 1 lit. e soweit, als die Beschwerdegegnerin die unverzügliche Herausgabe sämtlicher aus den Geschäftsbeziehungen des Erblassers mit ihr gemäss Klagebegehren Ziff. 1 lit. a herrührenden, in ihrem Besitze befindlichen Akten, insbesondere Konto-/Depoteröffnungsunterlagen, Konto-/Depotauszüge, Verträge, Formulare A, Unterschriftskarten, Vollmachten, Kundenaufträge, Korrespondenzen, Besuchs-, Telefonnotizen usw., verlangt. Die Beschwerdeführerin anerkennt die Zuständigkeit der Schweizer Gerichte bezüglich Klagebegehren Ziff. 1 lit. e soweit, als die Beschwerdegegnerin die unverzügliche Herausgabe sämtlicher in ihrem Besitze befindlichen Akten, insbesondere Konto-/Depoteröffnungsunterlagen, Konto-/Depotauszüge, Verträge, Formulare A, Unterschriftskarten, Vollmachten, Kundenaufträge, Korrespondenzen, Besuchs-, Telefonnotizen usw., verlangt, die gemäss Ziff. 1 lit. c aus ihrer Tätigkeit mit Vermögenswerten herrühren, an denen der Erblasser allein oder zusammen mit anderen Personen vertraglich, nicht bloss wirtschaftlich berechtigt gewesen sein soll. Die Beschwerdeführerin anerkennt die Zuständigkeit der Schweizer Gerichte bezüglich Klagebegehren Ziff. 1 lit. e soweit die Beschwerdegegnerin die unverzügliche Herausgabe sämtlicher in ihrem Besitze befindlichen Akten, insbesondere Konto-/Depoteröffnungsunterlagen, Konto-/Depotauszüge, Verträge, Formulare A, Unterschriftskarten, Vollmachten, Kundenaufträge, Korrespondenzen, Besuchs-, Telefonnotizen usw. aus den in Ziff. 1 lit. d genannten Geschäftsbeziehungen verlangt und diesen Anspruch mit einer vertraglichen Berechtigung begründet." Die Beschwerdegegnerin beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Das Obergericht und das Kassationsgericht verzichteten auf eine Vernehmlassung. D. Mit Präsidialverfügung vom 16. Juni 2009 wurde der Beschwerde die aufschiebende Wirkung erteilt. 