Sachverhalt: A. Ya._ und seine Ehefrau Yb._ (Kläger) schlossen am 20. Oktober 2003 mit X._ (Beklagter) einen öffentlich beurkundeten Kaufrechtsvertrag über eine Wohn- und Geschäftsliegenschaft mit Restaurant, Wirtewohnung, Gastzimmern, Bäckerei sowie Parkplätzen. Der Kaufpreis wurde auf Fr. 890'000.-- festgesetzt. Für die Einräumung des Kaufrechts war eine Entschädigung von Fr. 100'000.-- vereinbart, zu deren Bezahlung sich die Kläger in einer separaten Schuldanerkennung solidarisch verpflichteten. Sie sollte bei Ausübung des Kaufrechts an den Kaufpreis angerechnet werden, sonst aber beim Beklagten verbleiben. Das Kaufrecht wurde den Klägern für die Dauer von 10 Jahren eingeräumt. Für diesen Zeitraum schlossen die Parteien gleichentags einen festen Mietvertag über die Liegenschaft. Der Mietzins wurde auf Fr. 5'208.-- festgesetzt. Er setzt sich zusammen aus einem Teilbetrag von Fr. 1'916.--, der bei Ausübung des Kaufrechts an den Kaufpreis angerechnet werden und sonst beim Beklagten verbleiben sollte. Hinzu kamen Fr. 3'292.-- als Verzinsung des im Kaufrechtsvertrag festgesetzten Kaufpreises abzüglich der geleisteten Anzahlungen. Dieser Teil des Mietzinses sollte sich im Verlauf des Mietverhältnisses entsprechend der mit dem anderen Teil des Mietzinses geleisteten Amortisationen verringern. Zudem war im Kaufrechtsvertrag vereinbart, dass dieser als aufgehoben gelte, wenn die Kläger mit Zahlungen, darunter namentlich auch Mietzinszahlungen, drei Monate in Rückstand geraten sollten. B. Die Kläger beabsichtigten, eine eigene Gastwirtschaft zu betreiben, und waren daher mit dem Makler, der die Liegenschaft zum Kauf oder Mietkauf anbot, in Kontakt getreten. Dieser hatte ihnen angeraten, einen Treuhänder beizuziehen, der den Klägern für das erste Jahr ein Budget für den Gastwirtschaftsbetrieb samt Bäckerei erstellte. Die Kläger traten das Mietverhältnis am 21. Oktober 2003 an und bezahlten die Entschädigung für das Kaufrecht fristgerecht aus dem Pensionskassenguthaben des Ehemannes und einem unverzinslichen Darlehen im Zusammenhang mit einem vom Makler vermittelten Getränkeliefervertrag mit einer Brauerei. Kurz nach Beginn des Mietverhältnisses kamen die Kläger mit den Mietzinszahlungen in Rückstand, worauf der Beklagte den Mietvertrag am 26. Februar 2004 nach erfolgloser Fristansetzung gestützt auf Art. 257d OR per Ende März 2004 kündigte, nachdem er den Klägern am 9. Februar 2004 mitgeteilt hatte, er hebe den Kaufrechtsvertrag auf, womit die Entschädigung für das Kaufrecht in sein "Eigentum" falle. C. Am 23. Februar 2004 gelangten die Kläger an das Kreisgericht Alttoggenburg-Wil mit dem Begehren, der Kaufrechtsvertrag sowie die separate Schuldanerkennung seien aufzuheben, eventuell sei festzustellen, dass diese nichtig seien. Zudem sei der Beklagte zur Zahlung von Fr. 100'000.-- nebst Zins zu verpflichten und der Mietzins angemessen herabzusetzen, eventualiter sei festzustellen, dass der Mietvertrag für die Kläger unverbindlich sei. Der Beklagte erhob Widerklage und verlangte von den Klägern im Wesentlichen Fr. 36'815.-- nebst Zins unter Vorbehalt des Nachklagerechts. Ferner seien die Kläger zu verpflichten, die Löschungsbewilligung in Bezug auf das Kaufrecht zu unterzeichnen. Am 21. Dezember 2004 verkündete der Beklagte dem Makler und dem Treuhänder den Streit, welche ihre Beteiligung am Prozess erklärten. D. Das Kreisgericht wies die Klage ab, nahm von der erteilten Zustimmung zur Löschung des Kaufrechts Vormerk, schrieb das Verfahren diesbezüglich als erledigt ab und hiess die Widerklage mit einer minimalen Korrektur bezüglich des Zinsenlaufes gut. Auf Berufung der Kläger sprach das Kantonsgericht St. Gallen den Klägern nach Verrechnung der Forderung des Beklagten Fr. 30'185.-- nebst Zins zu, wobei es den Klägern die unentgeltliche Prozessführung bewilligte. Das Kantonsgericht setzte den von den Klägern als Entschädigung für das Kaufrecht zu bezahlenden Betrag von Fr. 100'000.-- um zwei Drittel auf Fr. 33'000.-- herab. E. Gegen diesen Entscheid führt der Beklagte eidgenössische Berufung. Er beantragt, den angefochtenen Entscheid aufzuheben. Eventualiter sei die Sache zu neuer Beurteilung an die Vorinstanz zurückzuweisen. Die Kläger schliessen auf kostenfällige Abweisung der Berufung und stellen gleichzeitig ein Gesuch um Gewährung der unentgeltlichen Prozessführung. 