Werkvertrag, hat sich ergeben: A.- H._ plante 1995 eine Überbauung in B._ (Ueberbauung R._"). Beabsichtigt war der Bau von 56 Einfamilienhäusern in zwei Etappen. Im Hinblick auf die Vergebung der Baumeisterarbeiten führten H._ und die W._ AG im Winter und Frühjahr 1995 Vertragsverhandlungen, die nach Auffassung der W._ AG den Abschluss eines mündlichen Werkvertrags mit einem Werklohn von über drei Millionen Franken zur Folge hatten. Die Gegenseite bestreitet dagegen, dass eine vertragliche Einigung zustande gekommen ist. Der für den 3. April 1995 geplante Baubeginn wurde vorerst auf den 10. April und schliesslich auf unbestimmte Zeit verschoben. In der Folge wurde das ursprüngliche Projekt durch ein anderes ersetzt, welches den Bau einer Altersresidenz auf dem gleichen Land vorsah. Auch in diesem Zusammenhang kam es zu Verhandlungen betreffend die Vergebung der Baumeisterarbeiten. Nachdem die Verhandlungen im Mai 1995 wegen einer Erkrankung von H._ unterbrochen worden waren, wurden sie am Jahresende wieder aufgenommen, führten aber zu keinem Ergebnis. B.- Im Januar 1997 reichte die W._ AG beim Bezirksgericht Plessur Klage gegen H._ ein mit dem Rechtsbegehren, den Beklagten zur Zahlung von Fr. 500'000.-- nebst 5 % Zins seit 15. März 1996 zu verpflichten. Die Klägerin forderte damit Schadenersatz bzw. entgangenen Gewinn wegen Nichterfüllung des Werkvertrags durch den Beklagten. Mit Urteil vom 23. Mai 2000 verpflichtete das Bezirksgericht den Beklagten zur Zahlung von Fr. 229'314. 27 nebst 5 % Zins seit 15. März 1996. Das Bezirksgericht kam zum Ergebnis, es sei mündlich ein Werkvertrag abgeschlossen worden, von welchem der Beklagte im Sinne von Art. 377 OR gegen Schadloshaltung der Klägerin zurückgetreten sei. Zur Frage der Schadenshöhe liess es eine Expertise einholen (nachfolgend: Gutachten O._), auf die es abstellte. Der Beklagte appellierte an das Kantonsgericht von Graubünden, welches sein Rechtsmittel mit Urteil vom 16. Januar 2001 teilweise guthiess und ihn zur Zahlung von Fr. 169'523. 70 nebst 5 % Zins seit 15. März 1996 verpflichtete. C.- Der Beklagte hat das Urteil des Kantonsgerichts mit staatsrechtlicher Beschwerde und Berufung beim Bundesgericht angefochten. Die Beschwerde ist mit Urteil vom heutigen Tag abgewiesen worden, soweit auf sie eingetreten werden konnte. Mit der vorliegenden Berufung beantragt der Beklagte, das Urteil des Kantonsgerichts aufzuheben und die Klage abzuweisen, eventuell die Sache zur neuerlichen Beurteilung und Entscheidung an die Vorinstanz zurückzuweisen. Die Klägerin schliesst auf Abweisung der Berufung. 