Sachverhalt: A. Der Hochbau- und Planungsausschuss Männedorf bewilligte E._ mit Beschluss vom 11. Juli 2012 den Neubau eines Mehrfamilienhauses mit Tiefgarage, den Ersatzbau eines Ökonomiegebäudes sowie den Umbau eines Schutzobjekts an der Aufdorfstrasse 105 in Männedorf (Grundstück Kat.-Nr. 6044). Das bestehende, denkmalgeschützte Wohnhaus (ein ehemaliges Weinbauernhaus) befindet sich auf der westlichen Parzellenhälfte direkt an der Strasse, dahinter steht das Ökonomiegebäude. Die östliche Parzellenhälfte, wo das Mehrfamilienhaus geplant ist, ist noch unüberbaut. Die Tiefgaragenausfahrt soll westlich des Schutzobjekts zur Aufdorfstrasse führen, während die sich heute östlich davon befindliche Grundstückszufahrt aufgehoben werden soll. Gegen die Baubewilligung erhoben verschiedene Nachbarn Rekurs. Das Baurekursgericht des Kantons Zürich führte einen Augenschein durch und wies in der Folge mit Entscheid vom 20. Februar 2013 den Rekurs ab, soweit es darauf eintrat. Eine dagegen von A._, F._, B._, C._ und D._ erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zürich mit Urteil vom 28. November 2013 ab. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht vom 10. Februar 2014 beantragen A._, F._, B._, C._ und D._ im Wesentlichen, das Urteil des Verwaltungsgerichts, der Entscheid des Baurekursgerichts und die Baubewilligung seien aufzuheben. Eventualiter sei die Sache zur neuen Beurteilung an die Vorinstanz zurückzuweisen. Das Verwaltungsgericht beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die Baudirektion des Kantons Zürich und die Beschwerdegegnerin schliessen auf Abweisung der Beschwerde. Die Beschwerdeführer halten in ihrer Stellungnahme dazu an ihren Anträgen und Rechtsauffassungen fest. 