Sachverhalt: A. X._ ist Eigentümer der aneinander angrenzenden Parzellen Nrn. 396 und 401 in Riehen (Mooshaldenweg 5 und 7). Die Parzelle Nr. 396 ist mit einem von den Architekten Paul Artaria und Hans Schmidt konzipierten, eingeschossigen Wohngebäude mit Künstleratelier aus Holz aus dem Jahr 1926 überbaut (Haus "Wenk"). Mit Beschluss vom 12. Juni 2007 stellte der Regierungrat das Äussere und das Innere dieser Baute unter Denkmalschutz. Mit Eingabe vom 7. Februar 2008 beantragte X._ beim Baudepartement (heute: Bau- und Verkehrsdepartement, BVD) erfolglos die Ausrichtung einer Enteignungsentschädigung aufgrund der Unterschutzstellung. Mit Klage vom 24. September 2008 an die Expropriationskommission des Kantons Basel-Stadt verlangte X._, der Kanton Basel-Stadt sei zur Leistung einer Enteignungsentschädigung zu verurteilen. Auf seinen Antrag beschränkte die Expropriationskommission das Verfahren zunächst auf die Frage des Vorliegens einer materiellen Enteignung. Sie verneinte die Frage und wies die Klage mit Urteil vom 17. November 2009 ab. Einen von X._ gegen das Urteil der Expropriationskommission erhobenen Rekurs hiess das Appellationsgericht des Kantons Basel-Stadt mit Urteil vom 20. Mai 2011 gut. Es bejahte eine materielle Enteignung und wies die Sache zur Festsetzung der Entschädigung an die Vorinstanz zurück. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht vom 6. Oktober 2011 beantragt der Kanton Basel-Stadt, das Urteil des Appellationsgerichts sei aufzuheben und es sei festzustellen, dass die Unterschutzstellung der Liegenschaft Mooshaldenweg 5 in Riehen keine materielle Enteignung darstelle und entschädigungslos zu dulden sei. Das Appellationsgericht hat sich vernehmen lassen, ohne einen förmlichen Antrag zu stellen. Der Beschwerdegegner beantragt im Wesentlichen die Abweisung der Beschwerde und die Feststellung, dass der Grundtatbestand bzw. der Sonderopfertatbestand der materiellen Enteignung erfüllt sei. In seiner Replik hält der Beschwerdeführer an seinen Anträgen und Rechtsauffassungen fest. Das Appellationsgericht hat sich zu dieser Replik des Beschwerdeführers mit einer weiteren Eingabe geäussert. 