Sachverhalt: A. Am 16. Mai 2012 stellten D. und E. F._ bei der Einwohnergemeinde Saanen ein Baugesuch für den Abbruch und den Neubau eines Einfamilienchalets auf der in der Wohnzone W2 gelegenen Parzelle Gbbl. Nr. 3698. Mit Gesamtentscheid vom 10. Oktober 2012 erteilte die Einwohnergemeinde Saanen die Baubewilligung und wies die erhobenen Einsprachen ab. Dagegen erhoben unter anderem die Einsprecher A. und B. C._ am 13. November 2012 Beschwerde bei der Bau-, Verkehrs- und Energiedirektion des Kantons Bern (BVE). A. und B. C._ sind Eigentümer von Grundstücken, welche an die Parzelle Gbbl. Nr. 3698 angrenzen. Im Verfahren vor der BVE sicherten D. und E. F._ zu, dass der Neubau künftig als Erstwohnung genutzt werde. Mit Entscheid vom 2. Dezember 2013 hiess die BVE die Beschwerde teilweise gut und ergänzte die Baubewilligung mit einem Hinweis auf die Rechtsverwahrung von A. und B. C._ und mit der Auflage, dass das Einfamilienchalet nur als Erstwohnung genutzt werden darf. lm Übrigen wies sie die Beschwerde ab. Die von A. und B. C._ am 31. Dezember 2013 erhobene Verwaltungsgerichtsbeschwerde wies das Verwaltungsgericht des Kantons Bern mit Urteil vom 4. April 2014 ab. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht vom 14. Mai 2014 beantragen A. und B. C._, der Entscheid des Verwaltungsgerichts vom 4. April 2014 sei bezüglich der Qualifikation des Bauvorhabens als Erstwohnung aufzuheben und es sei der Bauabschlag zu erteilen. Eventualiter sei die Angelegenheit zur materiellen Entscheidfindung an die Vorinstanz zurückzuweisen. Die Beschwerdegegner, die BVE, das Verwaltungsgericht und das Bundesamt für Raumentwicklung ARE beantragen in ihren Vernehmlassungen die Beschwerdeabweisung. Die Einwohnergemeinde Saanen hat sich nicht geäussert. Die Beschwerdeführer verzichten auf eine weitere Stellungnahme. 