Sachverhalt: A. Mit Beschluss vom 16. Juli 2012 stellte der Stadtrat von Wädenswil das Gebäude Assek.-Nr. 305 auf dem Grundstück Kat.-Nr. 336 an der Gerbestrasse 1, das im Eigentum von A._ steht, unter Schutz. Der Stadtrat ordnete an, dass das bestehende Gebäudevolumen im spätklassizistischen Stil samt den für die Grundstruktur tragenden Wänden und Decken sowie die folgenden weiteren Gebäudeteile beizubehalten seien: die originalen Fassaden auf der Nord-, der Ost- und der Westseite, die Sandsteingewände, die Jalousieläden, der obere Fassadenabschluss mit dem glatten Gurtfries, der Balkon samt Balkontüre mit Verdachung und stilisierten Palmetten sowie das steile Mansardendach mit Lukarne unter Einschluss des Dachstocks und der Zinne. Zeitgleich verzichtete der Stadtrat von Wädenswil darauf, das benachbarte Gebäude Assek.-Nr. 306 auf dem Grundstück Kat.-Nr. 335 an der Gerbestrasse 3 unter Schutz zu stellen. B. Am 27. August 2012 rekurrierte A._ an das Baurekursgericht des Kantons Zürich. Dieses führte einen Augenschein durch. Mit Entscheid vom 20. August 2013 hiess es den Rekurs teilweise gut und hob den Stadtratsbeschluss vom 16. Juli 2012 insoweit auf, als damit die Beibehaltung der die Grundstruktur tragenden Wände und Decken verlangt wurde. Im Übrigen blieb der Rekurs erfolglos. C. Mit Urteil vom 27. Februar 2014 wies das Verwaltungsgericht des Kantons Zürich, 1. Abteilung, in Dreierbesetzung eine dagegen erhobene Beschwerde ab. Eine Minderheit des Gremiums bedauerte in einer abweichenden Meinung, dass das Verwaltungsgericht keinen Augenschein durchgeführt hatte, was nach Ansicht der Minderheit Voraussetzung dafür gewesen wäre, dem Verwaltungsgericht die Möglichkeit zu verschaffen, gegebenenfalls anders als das Baurekursgericht zu entscheiden. D. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht beantragt A._, das Urteil des Verwaltungsgerichts aufzuheben und die Sache zu neuem Entscheid an dieses zurückzuweisen. Zur Begründung macht er im Wesentlichen geltend, das Verwaltungsgericht habe den massgeblichen Sachverhalt nicht genügend abgeklärt und sei seiner Begründungspflicht nicht ausreichend nachgekommen, was auf eine Gehörsverletzung hinauslaufe; überdies stelle die Unterschutzstellung des ihm gehörenden Gebäudes einen unverhältnismässigen Eingriff in sein Eigentumsrecht dar. E. Der Stadtrat Wädenswil schliesst auf Abweisung der Beschwerde. Das Verwaltungsgericht des Kantons Zürich hat auf eine Vernehmlassung verzichtet. F. In Replik und Duplik halten A._ sowie der Stadtrat Wädenswil im Wesentlichen an ihren Standpunkten fest. 