Sachverhalt: A. Am 28. Januar 2005 erwarb X._ das Grundstück Kat.-Nr. EN2283 am Sihlberg 10 mit der Villa Sihlberg und zugehöriger Parkanlage. Die vom Architekten August Albert Müller zwischen 1897 und 1898 erbaute Villa war jahrzehntelang Wohnsitz der Familie Hürlimann, welche die nahegelegene Brauerei betrieb. Die Parkanlage, die ursprünglich weitere Parzellen umfasste, stammt vom Gartenarchitekten Evariste Mertens. Die Villa samt Umgebung ist im Inventar der kunst- und kulturhistorischen Schutzobjekte von kommunaler Bedeutung verzeichnet. B. Nachdem X._ verschiedene Sanierungsarbeiten vorgenommen hatte, verfügte die Vorsteherin des Hochbaudepartements der Stadt Zürich am 7. Juni 2006 eine vorsorgliche Schutzmassnahme mit einjährigem Veränderungsverbot. Am 12. Juli 2006 stellte X._ ein Gesuch für verschiedene Umbauarbeiten, welche ihm mit Verfügung vom 7. August 2006 teilweise bewilligt wurden. Gleichzeitig wurde das Veränderungsverbot erneuert und der Gesuchsteller aufgefordert, allfällige unbewilligte Bauarbeiten sofort einzustellen. C. Am 23. Mai 2007 stellte der Stadtrat von Zürich die Liegenschaft definitiv unter Schutz. Geschützt wurden neben der Villa auch Teile der Umgebung, namentlich der Garten mit der Einfriedung aus Sandsteinpfosten, die bekieste Vorfahrt samt dem gepflästerten Platz vor dem Gebäude und dem umlaufenden Kiesweg. Die charakteristische Topographie entlang der Sihlbergstrasse muss grundsätzlich beibehalten werden. Die Erstellung zusätzlicher ober- und unterirdischer Bauten ist ausgeschlossen; davon ausgenommen ist die Erstellung eines Neubaus von 260 m2 Grundfläche mit maximal drei Vollgeschossen, einem Attikageschoss und einem Untergeschoss. Hierfür legte der Stadtrat im Norden der Villa Sihlberg einen ca. 950 m2 grossen Baubereich fest. D. Mit Beschluss vom 5. Mai 2008 verweigerte die Bausektion des Stadtrats Zürich X._ die baurechtliche Bewilligung für verschiedene, teilweise bereits ausgeführte bauliche und nutzungsmässige Massnahmen in der Villa Sihlberg. Sodann verfügte die Feuerpolizei der Stadt Zürich am 23. Dezember 2008, dass sich aufgrund der festgestellten feuerpolizeilichen Mängel maximal 15 Personen gleichzeitig in der Villa Sihlberg aufhalten dürfen. E. Gegen die definitive Unterschutzstellung, die Verweigerung der Baubewilligung und die feuerpolizeiliche Verfügung gelangte X._ an die Baurekurskommission I des Kantons Zürich. Diese führte einen Kommissions- und einen Referentenaugenschein durch. Sie hiess den Rekurs gegen die Unterschutzstellung in zwei untergeordneten Punkten gut (betreffend die bereits unwiederbringlich veränderten Räume 1.10 und 1.11); im Übrigen wies sie die Rekurse am 7. August 2009 ab. F. Dagegen erhob X._ am 21. September 2009 Beschwerde beim Verwaltungsgericht des Kantons Zürich. Er akzeptierte die weitgehende Unterschutzstellung des Innern der Villa, wandte sich aber gegen die Unterschutzstellung der Parkanlage und die Beschränkung des Baubereichs und des Neubauvolumens. Das Verwaltungsgericht führte einen Augenschein durch und wies die Beschwerde am 13. August 2010 ab. G. Gegen den verwaltungsgerichtlichen Entscheid hat X._ am 27. September 2010 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Er beantragt, der angefochtene Entscheid sei aufzuheben und das Geschäft sei zwecks Vornahme weiterer Sachverhaltsabklärungen und zu neuem Entscheid an den Stadtrat, eventualiter an das Verwaltungsgericht oder die Baurekurskommission zurückzuweisen. Subeventualiter sei Dispositiv-Ziff. 2 der Unterschutzstellungsverfügung des Stadtrats vom 23. Mai 2007 in Bezug auf folgende Teile ganz oder teilweise aufzuheben, zu ändern oder zu ergänzen: Umgebung: 3.1. Der Garten sei mit Ausnahme der Einfriedung aus Sandsteinpfosten, des schmiedeeisernen Gartenzauns und der originalen schmiedeeisernen Gartentore sowie unter dem Vorbehalt von Antrag 3.2 aus dem Schutzumfang zu entlassen. Die Unterbrechung des schmiedeeisernen Gartenzauns zwecks Erstellung einer Ein- und Ausfahrt in eine Tiefgarage gemäss Antrag 3.3 sei zuzulassen. 3.2. In Bezug auf die bekieste Vorfahrt und den gepflästerten Platz vor der Villa sei der Schutzumfang dahingehend einzuschränken, als dem Rekurrenten zu erlauben sei, diese Teile im Falle einer Erstellung von unterirdischen Bauten zu entfernen, unter dem Vorbehalt ihrer Wiederherstellung. 3.3. Der Baubereich für ober- und unterirdische Gebäude sei auf die blau umrandete Fläche gemäss dem der Rekursschrift vom 4. Juli 2007 beiliegenden Plan auszudehnen. Ausserhalb der Villa seien unterirdische Gebäude auch ausserhalb des Baubereichs zuzulassen. Zudem sei eine Ein- und Ausfahrt in eine Tiefgarage von der Sihlberg-Strasse her zuzulassen. 3.4. Die Beschränkung der Grundfläche eines Neubaus auf 260 m2 sei aufzuheben. 3.5. Die Beschränkung der Gebäudehöhe einer Neubaute innerhalb des Baubereichs sei dahingehend zu lockern, dass auch kleinere technisch bedingte Aufbauten davon ausgenommen sind. 3.6. Abgrabungen seien nicht nur für "untergeordnete" Zu- und Ausgänge, sondern insbesondere auch für eine Ein- und Ausfahrt zu einer Sammelgarage zuzulassen. H. Das Verwaltungsgericht und das Hochbaudepartement der Stadt Zürich beantragen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die Zürcherische Vereinigung für Heimatschutz hat sich nicht vernehmen lassen. Der Beschwerdeführer hat auf eine Replik verzichtet. 