Sachverhalt: A. Am 3. Februar 2002 veranstaltete der Verein X._ (Beschwerdegegner) im Rahmen des "White Turf 2002" auf dem gefrorenen St. Moritzer-See das Trabrennen GP Champagne Nicolas Feuillatte. Die Rennbahn war durch Abschrankungen (Rails) aus Holzlatten begrenzt, die an ins Eis gebohrten und darin festgefrorenen Holzpfosten befestigt wurden und damit einen Zaun bildeten. Im Verlauf des Rennens wurde C._ mit seinem Schlitten zufolge eines Überholmanövers anderer Teilnehmer gegen die Innenrails gedrängt. Dabei hängte der Schlitten (Sulky) mit einer Kufe an einem Pfosten ein und prallte gegen einen weiteren Pfosten der Abschrankung. C._ wurde schwer verletzt, und das A._ (Beschwerdeführer) gehörende Pferd "D._" erlitt ebenfalls Verletzungen. Ausserdem wurden das Geschirr und der Schlitten beschädigt. Eine wegen dieses Vorfalls eingeleitete Strafuntersuchung der Staatsanwaltschaft Graubünden wurde eingestellt. B. Mit Eingabe vom 3. Januar 2007 belangte der Beschwerdeführer den Beschwerdegegner auf Zahlung von Fr. 100'000.-- nebst 5 % Zins seit dem 3. Februar 2002. Damit verlangte er Ersatz für Behandlungs- und Pflegekosten für das Pferd "D._", dessen Minderwert, entgangene Preisgelder, Materialschäden und vorprozessuale Anwaltskosten. Zur Begründung brachte der Beschwerdeführer vor, der Unfall vom 3. Februar 2002 sei auf die Mangelhaftigkeit der Rennbahnabschrankung zurückzuführen, weshalb der Beschwerdegegner als Werkeigentümer gemäss Art. 58 OR für die durch den Unfall hervorgerufenen Schäden ersatzpflichtig sei. Mit Urteil vom 30. Juni 2009 wies das Bezirksgericht Maloja die Klage ab. Es bejahte zwar, dass die Abschrankung der Rennbahn ein Werk im Sinne von Art. 58 OR sei, verneinte jedoch einen Werkmangel. Die gegen dieses Urteil vom Beschwerdeführer eingelegte Berufung wies das Kantonsgericht von Graubünden am 15. März 2010 ab. C. Der Beschwerdeführer beantragt dem Bundesgericht mit Beschwerde in Zivilsachen, das Urteil des Kantonsgerichts aufzuheben und die Streitsache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Der Beschwerdegegner und die Vorinstanz schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Der Streitberufene verzichtet auf eine Stellungnahme. 