Kaufvertrag; Mängelhaftung, hat sich ergeben: A.- Mit öffentlich beurkundetem Vertrag vom 15./17. November 1993 verkauften die Beklagten den Klägern das Grundstück GB Egliswil Nr. 903, Bauland und Einfamilienhaus Nr. 467, zu einem Preis von Fr. 600'000.--. Der Kaufvertrag enthält unter der Ziffer IV/2 einen Gewährleistungsausschluss der Verkäufer für den Zustand des Kaufobjekts sowie für das Flächenmass. Unter derselben Ziffer wird festgehalten, dass die vorhandenen Bauhandwerkergarantien auf die Käufer übertragen werden. B.- Am 1. Dezember 1995 reichten die Kläger beim Bezirksgericht Lenzburg eine Forderungsklage in der Höhe von Fr. 142'500.-- plus Zins zu 5% ab 1.7.1995 gegen die Beklagten ein. Zur Begründung machten sie im Wesentlichen geltend, das von ihnen gekaufte Haus weise erhebliche Mängel auf, weshalb der Kaufpreis zu mindern sei. Trotz intensiven Verhandlungen mit der als Generalunternehmerin auftretenden RU Management AG und weiteren Beteiligten sowie einzelnen Handwerkern habe keine Einigung erzielt werden können. Am 1. November 1996 wurde dem Bezirksgericht Lenzburg ein von den Parteien unterzeichneter Teilvergleich bezüglich der Einigung über die Sanierung bestimmter Mängel im Haus der Kläger eingereicht. Durch Klagänderung vom 19. August 1997 reduzierten diese die eingeklagte Summe auf Fr. 103'000.-- sowie auf den Zinsausfall von Fr. 4'114. 60. Zur Begründung führten sie aus, die reduzierte Klagsumme sei auf die im Teilvergleich vereinbarten und vorgenommenen Sanierungsarbeiten zurückzuführen. Es seien nicht alle Sanierungen vorgenommen worden und über einzelne Mängel habe keine Einigung erzielt werden können. Die Beklagten beantragten die Abweisung der Klage mit der Begründung, es bestehe keine kaufrechtliche Gewährleistungspflicht gegenüber den Klägern, da diese im Kaufvertrag gültig wegbedungen worden sei, jedenfalls sei der Minderungsanspruch zufolge verspäteter Mängelrüge verwirkt. Mit Urteil vom 7. Januar 1999 wies das Bezirksgericht Lenzburg die Klage ab. Gegen dieses Urteil appellierten die Kläger am 8. April 1999 an das Obergericht des Kantons Aargau, welches die Appellation mit Urteil vom 17. März 2000 abwies. C.- Die Kläger haben das Urteil des Obergerichts mit Berufung und staatsrechtlicher Beschwerde wegen Verletzung von Art. 9 BV angefochten. Die Beschwerde hat das Bundesgericht mit Urteil vom heutigen Tag abgewiesen, soweit es auf sie eintrat. Mit der vorliegenden Berufung beantragen die Kläger, das Urteil des Obergerichts aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Die Beklagten schliessen auf Abweisung der Berufung. 