Sachverhalt: A. X._ ist Eigentümer der Grundstücke Kat.-Nrn. 7584 und 7585 in Adliswil. Die beiden Grundstücke liegen in der Landwirtschaftszone und sind Teil eines mehrere Parzellen umfassenden Anwesens. Das Grundstück Kat.-Nr. 7584 ist gemäss Baubewilligung vom 24. Juni 1955 mit einem Gebäude für Pferdeboxen und einer Stallmeisterwohnung sowie Nebenbauten überstellt worden, wobei am 31. August 1982 eine Wohnbereichserweiterung bewilligt wurde. Das nicht mit Gebäuden überbaute Grundstück Kat.-Nr. 7585 schliesst westlich an das Grundstück Kat. Nr. 7584 an und grenzt wie dieses im Süden an einen öffentlichen Fussweg. Entlang der südlichen Grenze der Grundstücke Kat. Nrn. 7584 und 7585 sowie der westlichen Grenze des Grundstücks Kat. Nr. 7585 wurde im Juli 2009 eine mindestens 122 m lange Einfriedung, bestehend aus einem bis zu 2.85 m hohen Zaun aus Drahtgeflecht und einer 1.2-1.5 m hohen Sichtschutzwand aus Holz, errichtet. Die neu errichtete Einfriedung ersetzte offenbar einen bestehenden ca. 1.4 m hohen Zaun, welcher im Herbst 2008 durch einen umgestürzten Baum abschnittsweise zerstört worden sein soll. B. Die Baudirektion des Kantons Zürich verweigerte mit Verfügung vom 14. Juni 2011 ein von X._ nachträglich eingereichtes Baubewilligungsgesuch für die Einfriedung mit Sichtschutzwand. Dabei lud sie die örtliche Baubehörde ein, die Wiederherstellung des rechtmässigen Zustands zu prüfen. Einen von X._ gegen den Entscheid der Baudirektion erhobenen Rekurs wies das Baurekursgericht des Kantons Zürich am 20. Dezember 2011 ab. Gegen diesen Entscheid gelangte X._ ans Verwaltungsgericht des Kantons Zürich, welches die Beschwerde mit Urteil vom 10. Mai 2012 abwies. C. Gegen das Urteil des Verwaltungsgerichts hat X._ am 28. Juni 2012 Beschwerde ans Bundesgericht erhoben. Er beantragt die Aufhebung des angefochtenen Entscheids und die Rückweisung der Sache zur Neubeurteilung an die Vorinstanz, eventuell an das Baurekursgericht. Mit Verfügung des Bundesgerichts vom 31. August 2012 wurde der Beschwerde aufschiebende Wirkung zuerkannt. Die Vorinstanz verweist auf den angefochtenen Entscheid und beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die Baudirektion beantragt die Abweisung der Beschwerde. Mit Eingabe vom 22. November 2012 hält der Beschwerdeführer an den Beschwerdeanträgen fest. 