Sachverhalt: A. A._ (Beschwerdeführer) und B._ (Beschwerdegegnerin) haben am 22. Juni 1968 geheiratet. Am 25. Februar 1993 schlossen sie einen Ehevertrag und wechselten für die Zukunft vom ordentlichen Güterstand der Errungenschaftsbeteiligung zum Güterstand der Gütertrennung. Zur Ausgleichung des Anspruches auf hälftige Beteiligung an der Errungenschaft übertrug der Beschwerdeführer der Beschwerdegegnerin diverse Fahrzeuge zu Eigentum und verpflichtete sich zu einer Ausgleichszahlung von Fr. 5'000'000.--, welche gestundet wurde. Im Sommer 1995 zog der Beschwerdeführer aus der ehelichen Liegenschaft aus. Nachdem die Beschwerdegegnerin ein Eheschutzverfahren anhängig gemacht hatte, welches mit einem Vergleich endete, sowie zwei Ehescheidungsbegehren, welche sie nicht weiterverfolgte, reichte der Beschwerdeführer am 12. Dezember 1997 ein Begehren um Erlass vorsorglicher Massnahmen für die Dauer des Ehescheidungsverfahrens beziehungsweise von Eheschutzmassnahmen ein, mit welchem er unter Anderem ab 1. Dezember 1997 einen Unterhaltsbeitrag von Fr. 4'000.-- monatlich verlangte. B. Am 14. April 1998, zwei Wochen nach Zustellung der Vorladung auf den 8. Mai 1998, unterzeichneten die Parteien ohne Mitwirkung ihrer Rechtsvertreter eine Vereinbarung, in der sich die Beschwerdegegnerin verpflichtete, dem Beschwerdeführer bis zu seinem Ableben monatlich Fr. 3'000.-- zu bezahlen, und zwar auch dann, wenn die Ehe auf Begehren der Beschwerdegegnerin geschieden werden sollte. Bei einer Scheidung auf Verlangen des Ehemannes sollte die Zahlung dagegen aufhören (Ziff. 1). Die Beschwerdegegnerin verzichtete auf ihre Forderung von Fr. 5'000'000.-- gemäss Ehevertrag, wogegen die "gemäss Ehevertrag vom 25. Februar 1993 vereinbarte Abtretung" der Erbansprüche an der zukünftigen Erbschaft der Mutter des Beschwerdeführers bestehen bleiben sollte (Ziff. 2). Die Parteien verzichteten gegenseitig auf jegliche weitere Forderungen (Ziff. 3), vereinbarten, dass der Ehemann die Klage zurückziehe und die Verhandlung vom 8. Mai 1998 abgesetzt werde (Ziff. 4), und regelten schliesslich die Tragung der Gerichts- und Parteikosten. Die Unterschriften unter dieser Vereinbarung wurden notariell beglaubigt. Mit Schreiben vom 16. April 1998 ersuchte der Rechtsvertreter des Beschwerdeführers das zuständige Gerichtspräsidium, die Verhandlung abzusetzen und zufolge vergleichsweiser Erledigung des Verfahrens einen Abschreibungsbeschluss zu erlassen. Daraufhin genehmigte das Gerichtspräsidium am 27. April 1998 die Vereinbarung vom 14. April 1998 und schrieb das Verfahren als durch Vergleich erledigt ab. Für drei oder vier Monate bezahlte die Beschwerdegegnerin in der Folge den Betrag von Fr. 3'000.--. Ab Herbst 1998 lebte der Beschwerdeführer wieder in der ehelichen Liegenschaft und bezahlte der Beschwerdegegnerin monatlich durchschnittlich Fr. 1'000.-- bis Fr. 1'500.--. Im März/April 2001 zog der Beschwerdeführer wieder aus, was abermals zu einem Eheschutzverfahren führte. C. Der Beschwerdeführer erhob am 2. Mai 2001 Betreibung und verlangte gestützt auf die Vereinbarung vom 14. April 1998 Fr. 99'000.-- nebst Zins und Kosten für ausstehende Unterhaltsbeiträge, worauf die Beschwerdegegnerin Rechtsvorschlag erhob. Dem Versuch, Rechtsöffnung zu erlangen, war kein Erfolg beschieden (Urteil des Bundesgerichts 5P.74/2002 vom 13. März 2002). Am 12. Oktober 2005 reichte der Beschwerdeführer beim Bezirksgericht Kulm Teilklage ein und verlangte Fr. 150'000.-- nebst Zins aus Ziff. 1 der Vereinbarung vom 14. April 1998, die eine vom Ehescheidungsverfahren unabhängige Leibrente im Sinne von Art. 516 OR darstelle. Während das Bezirksgericht Kulm die Klage guthiess, wies sie das Obergericht des Kantons Aargau am 2. April 2009 ab. Zwar erscheine der Anspruch des Beschwerdeführers nach dem Wortlaut der Vereinbarung ausgewiesen. Nachdem der Beschwerdeführer wieder in die eheliche Liegenschaft eingezogen sei, habe er aber der Beschwerdegegnerin erhebliche Beträge für Unterkunft, Wäschebesorgung etc. bezahlt, ohne seine jetzt behauptete höhere Forderung zur Verrechnung zu bringen. Aus diesem nachträglichen Verhalten schloss das Obergericht, beide Parteien seien davon ausgegangen, die Zahlungspflicht bestehe nur während der Dauer des Getrenntlebens. D. Mit Beschwerde in Zivilsachen beantragt der Beschwerdeführer dem Bundesgericht im Wesentlichen die Gutheissung seiner Klage. Die Beschwerdegegnerin schliesst auf kostenfällige Abweisung der Beschwerde, während das Obergericht auf Vernehmlassung verzichtet. 