Sachverhalt: A. Der aus dem Kosovo stammende Y._ (geb. 1974) erhielt nach der Heirat mit der Schweizer Bürgerin X._ (geb. 1948) im Jahre 2000 eine Aufenthaltsbewilligung. Zwischen dem 6. Oktober 2008 und dem 7. Dezember 2009 befand er sich im Strafvollzug, nachdem ihn das Obergericht des Kantons Nidwalden am 19. Juni 2007 wegen sexueller Nötigung und Vergewaltigung zu 30 Monaten Freiheitsstrafe verurteilt und das Bundesgericht am 22. August 2008 eine Beschwerde gegen dieses Urteil abgewiesen hatte (Verfahren 6B_332/2008). Gegen das bundesgerichtliche Urteil gelangte Y._ mit Beschwerde vom 6. Oktober 2008 an den Europäischen Gerichtshof für Menschenrechte (EGMR). B. Das Amt für Migration und Personenstand des Kantons Bern widerrief am 27. März 2009 die Aufenthaltsbewilligung von Y._ und ordnete seine - gemäss Art. 66 Abs. 3 AuG sofort vollstreckbare - Wegweisung an. X._ und Y._ fochten diesen Entscheid ohne Erfolg bei der Polizei- und Militärdirektion des Kantons Bern an. Darauf erhoben sie am 5. Oktober 2009 Beschwerde beim Verwaltungsgericht des Kantons Bern und ersuchten dieses um Gewährung der aufschiebenden Wirkung, damit Y._ während des Verfahrens in der Schweiz bleiben dürfe. Mit Verfügung vom 3. Dezember 2009 entzog das Verwaltungsgericht der Beschwerde die aufschiebende Wirkung; die gegen diesen Zwischenentscheid erhobene Beschwerde wies das Bundesgericht mit Urteil 2C_803/2009 vom 29. Januar 2010 ab, soweit es darauf eintrat. Am 2. Februar 2010 hat Y._ die Schweiz verlassen. Mit Urteil vom 26. August 2010 wies das Verwaltungsgericht des Kantons Bern die Beschwerde in der Sache ab. C. X._ und Y._ beantragen dem Bundesgericht mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 28. September 2010, den Entscheid des Verwaltungsgerichts aufzuheben und die Aufenthaltsbewilligung von Y._ um ein Jahr zu verlängern bzw. die Angelegenheit zur Neuprüfung an die Vorinstanz zurückzuweisen. Sie rügen die Verletzung von Art. 41 (recte: 42) AuG sowie Art. 8 EMRK. D. Das Verwaltungsgericht und die Polizei- und Militärdirektion des Kantons Bern sowie das Bundesamt für Migration ersuchen um Abweisung der Beschwerde. Das Amt für Migration und Personenstand verweist auf die Vernehmlassung des Verwaltungsgerichts. Mit Schreiben vom 5. Januar 2011 halten die Beschwerdeführer an ihren Anträgen fest. 