Sachverhalt: A. Am 14. Mai 2007 leitete Z._ gegen X._ ein Eheschutzverfahren ein. Am 5./6. Juli 2007 schlossen die Parteien einen Unterhaltsvertrag ab, worauf das Eheschutzverfahren mit Entscheid vom 9. Juli 2007 als erledigt erklärt wurde. In Ziff. 1 der Vereinbarung verpflichtete sich X._, seiner Ehefrau ab 1. März 2007 einen monatlichen Unterhaltsbeitrag von Fr. 13'000.-- zu bezahlen. Am 8. Januar 2009 reichte Z._ die Scheidungsklage ein. X._ zahlte ab Frühling 2010 keinen Unterhalt mehr, weshalb ihn Z._ mit Zahlungsbefehl Nr. ... (Betreibungsamt Luzern) vom 22. Juni 2011 für Fr. 247'000.-- nebst 5 % Zins seit 1. Oktober 2010 betrieb. X._ erhob Rechtsvorschlag. Das Bezirksgericht Luzern erteilte Z._ am 9. Februar 2012 provisorische Rechtsöffnung für den verlangten Betrag. Erfolglos erhob X._ Beschwerde an das damalige Obergericht des Kantons Luzern (Entscheid vom 23. April 2012) und sodann an das Bundesgericht (Urteil 5A_436/2012 vom 24. September 2012). B. Mit Klage vom 5. März 2012 beantragte X._ beim Bezirksgericht Luzern die Feststellung, dass er den gegen ihn in Betreibung gesetzten Betrag nicht schulde. Die provisorische Rechtsöffnung sei aufzuheben. Mit Urteil vom 24. Mai 2013 wies das Bezirksgericht die Klage ab. C. Dagegen erhob X._ am 1. Juli 2013 Berufung an das Kantonsgericht Luzern. Er verlangte die Aufhebung des bezirksgerichtlichen Urteils und die Gutheissung seiner Aberkennungsklage. Allenfalls sei die Sache an das Bezirksgericht zurückzuweisen. Mit Urteil vom 12. März 2014 wies das Kantonsgericht die Klage ab. D. Am 5. Mai 2014 hat X._ (Beschwerdeführer) Beschwerde in Zivilsachen an das Bundesgericht erhoben. Er verlangt die Aufhebung des kantonsgerichtlichen Urteils und die Gutheissung der Aberkennungsklage. Allenfalls sei die Sache an das Kantonsgericht zurückzuweisen. Zudem ersucht er um aufschiebende Wirkung. Nachdem Z._ (Beschwerdegegnerin) Abweisung des Gesuchs um aufschiebende Wirkung beantragt hat und sich das Kantonsgericht nicht hat vernehmen lassen, ist der Beschwerde mit Präsidialverfügung vom 5. Juni 2014 aufschiebende Wirkung zuerkannt worden. Das Bundesgericht hat die Akten beigezogen, in der Sache aber keine Vernehmlassungen eingeholt. 