Sachverhalt: A. X._ und Z._ sind die Kinder von A._ und B._. Y._ ist die Ehefrau von X._. A._ verstarb am 16. August 1993 in Monaco, wo er zusammen mit seiner Ehefrau seit 1987 in einer Wohnung im Haus C._ lebte. Seine Ehefrau beerbte ihn. Nach einem Unfall 1994 verblieb sie bis zu ihrem Tode am 20. Juli 2000 in Griechenland. Gemäss Testament von B._ (fortan: Erblasserin) aus dem Jahre 1996 sollen ihre Kinder zu gleichen Teilen erben. Nachdem die Parteien bereits 2004 einen Prozess um die Herausgabe von Buchhaltungsunterlagen geführt hatten, erhob Z._ am 17. Januar 2007 gegen X._ und Y._ sowie den ehemaligen Anwalt der Erblasserin Forderungsklage in Monaco. Darin wirft sie ihrem Bruder und ihrer Schwägerin im Wesentlichen vor, die Wohnung im Haus C._ in Monaco widerrechtlich und ohne Bezahlung von Mietzinsen und Nebenkosten bewohnt zu haben. Des Weiteren sei diverses Mobiliar der Erblasserin nicht geteilt worden und ihr Bruder habe widerrechtlich Kontobezüge vorgenommen und Gelder der Erblasserin unterschlagen. B. B.a Auf Ersuchen von Z._ erliess der Gerichtspräsident 1 des Gerichtskreises XIII Obersimmental-Saanen am 9. Februar 2007 gestützt auf Art. 271 Abs. 1 Ziff. 4 SchKG einen Arrestbefehl gegen X._ und Y._ über eine Forderung von Fr. 8'002'221.- nebst Zins zu 5 % seit dem 19. Oktober 2003. Die beiden Arreste (Nr. 1 gegen X._ und Nr. 2 gegen Y._) wurden am 12. Februar 2007 durch das Betreibungsamt Berner Oberland, Dienststelle Obersimmental-Saanen, vollzogen. Arrestgegenstände sind Grundstücke und diverse in der Wohnung des Ehepaars X._/ Y._ befindliche Vermögensobjekte. B.b Gegen die Arrestbefehle erhoben X._ und Y._ am 12. März 2007 Einsprache, woraufhin der Gerichtspräsident 1 des Gerichtskreises XIII Obersimmental-Saanen die Arrestforderung am 3. Mai 2007 auf Fr. 2'723'230.-- reduzierte. C. C.a Auf Appellation von Z._ hin wies das Obergericht des Kantons Bern mit Entscheid vom 17. August 2007 die Einsprachen wegen Verspätung zurück. Dieser Entscheid wurde vom Bundesgericht mit Urteil vom 9. Januar 2009 (5A_545/2007; teilweise publiziert in BGE 135 III 232) aufgehoben und die Sache zur Behandlung der Einsprachen an die Vorinstanz zurückgewiesen. C.b Das Obergericht hiess mit Entscheid vom 21. September 2009 die Einsprachen teilweise gut und reduzierte die Arrestforderung auf Fr. 5'456'006.05. D. X._ und Y._ (fortan: Beschwerdeführer) haben gegen diesen Entscheid am 26. Oktober 2009 Beschwerde in Zivilsachen ergriffen. Sie beantragen die Aufhebung des angefochtenen Entscheids sowie die Abweisung der Appellation von Z._ (fortan: Beschwerdegegnerin), eventualiter die Bestätigung des Entscheids des Gerichtspräsidenten vom 3. Mai 2009 (recte: 2007). Es sind keine Vernehmlassungen eingeholt worden. 