Sachverhalt: A. Die Schwestern C._ und D._ als Vermieter schlossen am 8. Juli 2003 mit A. und B. X._ (Beschwerdeführer) als Mieter einen Mietvertrag über Geschäftsräumlichkeiten zur Nutzung für Gastronomiebetriebe in der Liegenschaft Z._strasse in Zürich ab. Am 14./30. Oktober 2003 mieteten die Beschwerdeführer von C._ auch eine 3-Zimmerwohnung im dritten Obergeschoss der gleichen Liegenschaft. Die Beschwerdeführer haben diese Mietobjekte seit einiger Zeit untervermietet. Einem Schreiben des beklagtischen Rechtsvertreters vom 18. September 2008 lagen die Kündigungen des Restaurantmietvertrags per 31. Oktober 2008 und des Wohnungsmietvertrags per 31. März 2009 bei. Mit Schreiben vom 23. September 2008 mahnte die Verwaltung Q._ AG gegenüber den Beschwerdeführern die ausstehenden Mietzinse für die Monate August und September 2008 über den Betrag von Fr. 20'103.50. Am 10. Oktober 2008 fochten die Beschwerdeführer die beiden Kündigungen vom 18. September 2008 bei der Schlichtungsbehörde Zürich als ungültig an. Mit Schreiben vom 14. Oktober 2008 setzte die Verwaltung den Beschwerdeführern gestützt auf Art. 257d OR eine letzte Zahlungsfrist für die ausstehenden Mietzinse für die Monate August bis Oktober 2008 im Gesamtbetrag von Fr. 30'461.50. Nach unbenütztem Ablauf dieser Frist werde das Mietverhältnis gekündigt und unverzüglich die Betreibung eingeleitet. Mit amtlichen Formularen kündigte die Verwaltung am 18. November 2008 den Beschwerdeführern die beiden Mietverträge je auf den 31. Dezember 2008 wegen Zahlungsverzugs gemäss Art. 257d OR. Am 15. Dezember 2008 fochten die Beschwerdeführer die Kündigungen vom 18. November 2008 bei der Schlichtungsbehörde an. An der Schlichtungsverhandlung vom 27. Januar 2009 wurde sowohl über die Kündigungen vom 18. September 2008 als auch über diejenigen vom 18. November 2008 verhandelt. Nach der Verhandlung zog der beklagtische Rechtsvertreter die Kündigungen vom 18. September 2008 zurück, so dass die Schlichtungsbehörde die entsprechenden Verfahren am 27. Januar 2009 zufolge Gegenstandslosigkeit abschrieb. Mit Beschluss vom gleichen Datum wies die Schlichtungbehörde die Klage betreffend Anfechtung der Kündigungen vom 18. November 2008 ab und stellte deren Gültigkeit per 31. Dezember 2008 fest. B. Mit Klage vom 27. Februar 2009 verlangten die Beschwerdeführer beim Mietgericht Zürich die Feststellung, dass die Kündigungen vom 18. November 2008 unwirksam seien. Mit Urteil vom 4. März 2010 erklärte das Mietgericht in Abweisung der Klage die Kündigung vom 18. November 2008 auf den 31. Dezember 2008 als wirksam und gültig. Gleichzeitig merkte es den Rückzug des klägerischen Rechtsbegehrens Ziffer 3 (ev. Erstreckung des Mietverhältnisses bis 31. März 2013) vor. Gegen das Urteil des Mietgerichts erklärten die Beschwerdeführer Berufung an das Obergericht des Kantons Zürich. Mit Beschluss vom 17. Juni 2010 wurde vorgemerkt, dass an Stelle der verstorbenen C._ die Y._ AG (Beschwerdegegnerin), welche die Aufgabe der Willensvollstreckerin übernommen hatte, neu als Beklagte - im Sinne einer Prozessstandschaft - in den Prozess eingetreten ist. Am 24. August 2010 beschloss das Obergericht, die Klage abzuweisen, unter gleichzeitiger Feststellung der Rechtsgültigkeit der Kündigungen vom 18. November 2008 betreffend der Mietverträge für das Restaurant etc. im EG und für die 3-Zimmerwohnung im 3. OG an der Z._strasse in Zürich. C. Die Beschwerdeführer beantragen dem Bundesgericht mit Beschwerde in Zivilsachen, diesen Urteil (recte den Beschluss) des Obergerichts vollumfänglich aufzuheben. Es sei festzustellen, dass die von der Q._ AG am 18. November 2008 per 31. Dezember 2008 ausgesprochenen Kündigungen für Restaurant EG etc./3-ZW, 3. OG an der Z._strasse in Zürich unwirksam seien. Eventualiter sei die Sache zur Neubeurteilung im Sinne der Erwägungen an die Vorinstanz zurückzuweisen. Die Beschwerdegegnerin beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Das Obergericht verzichtete auf eine Vernehmlassung. Am 3. Januar 2011 reichten die Beschwerdeführer eine Replik zur Beschwerdeantwort ein. Mit Präsidialverfügung vom 23. November 2010 wurde das Gesuch der Beschwerdeführer um Erteilung der aufschiebenden Wirkung abgewiesen. Am 3. Januar 2011 wies die Präsidentin ein von den Beschwerdeführern persönlich eingereichtes Sistierungsgesuch ab. 