Sachverhalt: A. S._ erteilte am 6. August 2002 der T._ AG (T._), vertreten durch den einzelzeichnungsberechtigten Verwaltungsrat U._, eine Generalvollmacht zur Umfinanzierung bzw. Erhöhung der Hypotheken für seine Liegenschaft. Am 16. September 2002 unterzeichnete U._ im Namen der T._ eine Erklärung für die Errichtung eines Inhaberschuldbriefes, worin S._ bekannte, dem Inhaber des Schuldbriefes Fr. 410'000.-- zu schulden. Der Schuldbrief wurde (für die betreffende Summe nebst Kosten und 10% Höchstzins) am 18. September 2002 errichtet und vom Grundbuchamt an T._ bzw. an U._ ausgehändigt. Am 20. März 2003 schlossen V._ und X._ im Beisein und unter Mitwirkung von U._ einen Kaufvertrag, mit welchem X._ den besagten Schuldbrief zu einem Preis von Fr. 260'000.-- von V._ erwarb. In Ziff. 4 des Vertrages erklärte V._, rechtmässiger Eigentümer und Inhaber des Schuldbriefes zu sein und von S._ die Erlaubnis zu dessen Platzierung zu haben. Sodann wurde V._ in Ziff. 6 eine Kaufoption für den Schuldbrief eingeräumt, und zwar für Fr. 300'000.-- mit einer Laufzeit von fünf Monaten. Am Tag des Vertragsschlusses quittierte V._, von X._ per Saldo aller Ansprüche Fr. 260'000.-- erhalten zu haben. Gemäss handschriftlichem Vermerk von V._ vom 19. Juli 2003 auf der Quittung soll X._ indes lediglich Fr. 200'000.-- geleistet haben. B. Am 18. Dezember 2006 erwarb die Z._ AG (Z._) von S._ die mit dem Schuldbrief belastete Liegenschaft für Fr. 951'000.-- zu Eigentum. Der Kaufpreis wurde zum einen durch die Übernahme der Grundpfandschulden gegenüber der Bank Q._ getilgt. Zum anderen wurde Z._ für den dem besagten Schuldbrief entsprechenden Betrag von Fr. 410'000.-- seitens des Verkäufers ein zinsloses Darlehen gewährt, rückzahlbar innert 30 Tagen nach rechtskräftiger Erledigung des Rechtsstreites über den Schuldbrief. In diesem Zusammenhang wurde in Ziff. 4 des Kaufvertrages festgehalten, dass der Schuldbrief nicht greifbar sei, sondern sich nach Auffassung der Parteien widerrechtlich im Besitz des "Gläubigers" befinde und deshalb über den Bestand der Forderung aus dem Schuldbrief ein Rechtsstreit bestehe, in den die Käuferschaft als neue Eigentümerin anstelle der Verkäuferschaft eintrete. Am 1. Juni 2007 wurde X._ seitens Z._ der Erwerb der Liegenschaft angezeigt und zur Herausgabe des Schuldbriefes aufgefordert. C. Mit Vermittlungsbegehren vom 28. Juni 2007 reichte Z._ beim Kreispräsidenten Domleschg gegen X._ Klage auf Herausgabe des Schuldbriefes ein. Am 26. September 2007 prosequierte sie die Klage an das Bezirksgericht Hinterrhein. Mit Urteil vom 9. Dezember 2009 hiess dieses die Klage gut und verpflichtete X._ zur Herausgabe des Schuldbriefes an Z._. Die hiergegen erhobene Berufung wurde vom Kantonsgericht Graubünden mit Urteil vom 12. April 2010 (mitgeteilt am 17. August 2010) abgewiesen. D. Gegen dieses Urteil hat X._ am 20. September 2010 eine Beschwerde in Zivilsachen erhoben, im Wesentlichen mit den Begehren um dessen Aufhebung und Abweisung der Herausgabeklage. Mit Präsidialverfügung vom 6. Oktober 2011 wurde der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt. In der Sache selbst wurden keine Vernehmlassungen eingeholt. Auf das vom Beschwerdeführer parallel gestellte Revisionsbegehren trat das Kantonsgericht mit Urteil vom 24. September 2010 nicht ein; dieses bildet Gegenstand einer weiteren, am 11. November 2010 erhobenen Beschwerde in Zivilsachen (Verfahren Nr. 5A_794/2010), die ebenfalls heute entschieden wird. 