Untermiete; Ausweisung, hat sich ergeben: A.- a) Die Creativ-Team Ltd. mietete vom Ehepaar Rüegg-Leuthold fünf Räume in der Liegenschaft Utoquai 41 in Zürich. Nach dem Tod des Ehepaars Rüegg ging die Mietliegenschaft in das Alleineigentum der Stiftung Kunstsammlung Albert und Melanie Rüegg (Klägerin) über. Die Creativ-Team Ltd. schloss ihrerseits am 2. Mai 1996 mit der Leuppi & Schafroth Architekten (Beklagte) einen Untermietvertrag über einen Teil ihres Mietobjekts zu einem monatlichen Mietzins von Fr. 1'407.--. b) Am 8. Juli 1999 kündigte die Klägerin der Creativ-Team Ltd. das Mietverhältnis wegen Eigenbedarfs auf den 31. März 2000. Die Creativ-Team Ltd. ihrerseits kündigte der Beklagten am 9. Juli 1999 gestützt auf die Auflösung des Hauptmietverhältnisses das Untermietverhältnis auf denselben Termin. Diese Kündigung erklärte die Schlichtungsbehörde am 12. November 1999 für gültig. Am 17. Dezember 1999 kündigte die Creativ-Team Ltd. das Mietverhältnis mit der Beklagten überdies wegen Zahlungsverzugs auf den 31. März 2000. c) Bereits am 30. November 1998 hatte die Creativ-Team Ltd. das Untermietverhältnis mit der Beklagten gekündigt, welche Kündigung die Schlichtungsbehörde Zürich mit Beschluss vom 11. Juni 1999 als Rachekündigung für ungültig erklärt hatte. Daraus erwuchs der Beklagten aus Art. 271a Abs. 1 lit. e OR ein dreijähriger Kündigungsschutz im Untermietverhältnis. B.- a) Am 10. April 2000 verlangte die Creativ-Team Ltd. beim Audienzrichteramt Zürich gestützt auf ihre Kündigung vom 9. Juli 1999 die Ausweisung der Beklagten. Mit Eingabe vom 26. April 2000 beantragte die Klägerin ebenfalls die Ausweisung der Beklagten. Mit Schreiben vom 12. Mai 2000 teilte die Creativ-Team Ltd. mit, dass sie das Ausweisungsbegehren zusätzlich auf die ausserordentliche Kündigung vom 17. Dezember 1999 stütze. Mit Verfügung vom 23. Mai 2000 trat die Einzelrichterin auf das Begehren der Creativ-Team Ltd. um Klageänderung nicht ein, schrieb deren Ausweisungsbegehren vom 10. April 2000 als durch Rückzug erledigt ab und trat auf dasjenige der Klägerin nicht ein. b) Gegen diesen Entscheid rekurrierte die Klägerin an das Obergericht des Kantons Zürich, welches den Rekurs am 25. August 2000 guthiess, die erstinstanzliche Verfügung aufhob und der Beklagten befahl, die Mieträumlichkeiten unverzüglich zu räumen. c) Eine kantonale Nichtigkeitsbeschwerde der Beklagten wies das Kassationsgericht des Kantons Zürich mit Entscheid vom 23. Dezember 2000 ab. C.- Die Beklagte, welche nunmehr als Aktiengesellschaft firmiert, hat den Beschluss des Obergerichts vom 25. August 2000 mit eidgenössischer Berufung angefochten. Sie beantragt, ihn aufzuheben und die Verfügung der Einzelrichterin vom 23. Mai 2000 zu bestätigen, eventuell selbst neu zu entscheiden oder die Sache an die Vorinstanz zurückzuweisen. Die Klägerin schliesst auf Abweisung der Berufung. 