Sachverhalt: Sachverhalt: A. Mit Vertrag vom 8. Mai 2001 überliess B._ (Kläger) A._ (Beklagter) die Bewirtschaftung seines Landwirtschaftsbetriebes X._. Der Vertrag war erstmals auf Herbst 2016 kündbar. Die Parteien gerieten jedoch bereits nach kurzer Zeit in Streit. Ein Summarverfahren, das der Kläger wegen baulicher Veränderungen durch den Beklagten eingeleitet hatte, endete am 2. Oktober 2001 durch Vergleich. Aufgrund von weiteren Auseinandersetzungen kündigte der Kläger den Bewirtschaftungsvertrag mehrmals vorzeitig unter Berufung auf wichtige Gründe, so am 9. und 14. August sowie am 29. Oktober 2001. Ein vom Kläger und dessen Ehefrau am 18. Oktober 2002 gestelltes Ausweisungsgesuch wies das Bezirksgericht Wil am 31. März 2003 und auf Rekurs hin das Kantonsgericht St. Gallen am 11. Juli 2003 ab. Auf eine Berufung der Kläger ist das Bundesgericht am 9. Januar 2004 infolge Nichtbezahlung des Kostenvorschusses nicht eingetreten. A. Mit Vertrag vom 8. Mai 2001 überliess B._ (Kläger) A._ (Beklagter) die Bewirtschaftung seines Landwirtschaftsbetriebes X._. Der Vertrag war erstmals auf Herbst 2016 kündbar. Die Parteien gerieten jedoch bereits nach kurzer Zeit in Streit. Ein Summarverfahren, das der Kläger wegen baulicher Veränderungen durch den Beklagten eingeleitet hatte, endete am 2. Oktober 2001 durch Vergleich. Aufgrund von weiteren Auseinandersetzungen kündigte der Kläger den Bewirtschaftungsvertrag mehrmals vorzeitig unter Berufung auf wichtige Gründe, so am 9. und 14. August sowie am 29. Oktober 2001. Ein vom Kläger und dessen Ehefrau am 18. Oktober 2002 gestelltes Ausweisungsgesuch wies das Bezirksgericht Wil am 31. März 2003 und auf Rekurs hin das Kantonsgericht St. Gallen am 11. Juli 2003 ab. Auf eine Berufung der Kläger ist das Bundesgericht am 9. Januar 2004 infolge Nichtbezahlung des Kostenvorschusses nicht eingetreten. B. Am 19. März 2003 forderten der Kläger und dessen Ehefrau vom Beklagten die Zahlung ausstehender Pachtzinsen im Betrage von Fr. 50'910.95 innert sechs Monaten unter der Androhung der Auflösung des Bewirtschaftungsvertrages bei Säumnis auf den 18. September 2003. Da die Zahlung ausblieb, beantragte der Kläger dem Kreisgerichtspräsidium Wil am 15. Oktober 2003, es sei dem Beklagten unter Androhung der Bestrafung nach Art. 292 StGB zu befehlen, den von ihm gepachteten X._ geräumt und gereinigt zu verlassen. Am 22. Januar 2004 erliess der Präsident der 3. Abteilung des Kreisgerichts Alttoggenburg-Wil einen entsprechenden Befehl. Den vom Beklagten erhobenen Rekurs wies das Kantonsgericht St. Gallen, Einzelrichter für Rekurse im Obligationenrecht, am 17. März 2004 ab, wobei es dem Kläger wie bereits der erstinstanzliche Richter die unentgeltliche Prozessführung gewährte. B. Am 19. März 2003 forderten der Kläger und dessen Ehefrau vom Beklagten die Zahlung ausstehender Pachtzinsen im Betrage von Fr. 50'910.95 innert sechs Monaten unter der Androhung der Auflösung des Bewirtschaftungsvertrages bei Säumnis auf den 18. September 2003. Da die Zahlung ausblieb, beantragte der Kläger dem Kreisgerichtspräsidium Wil am 15. Oktober 2003, es sei dem Beklagten unter Androhung der Bestrafung nach Art. 292 StGB zu befehlen, den von ihm gepachteten X._ geräumt und gereinigt zu verlassen. Am 22. Januar 2004 erliess der Präsident der 3. Abteilung des Kreisgerichts Alttoggenburg-Wil einen entsprechenden Befehl. Den vom Beklagten erhobenen Rekurs wies das Kantonsgericht St. Gallen, Einzelrichter für Rekurse im Obligationenrecht, am 17. März 2004 ab, wobei es dem Kläger wie bereits der erstinstanzliche Richter die unentgeltliche Prozessführung gewährte. C. Der Beklagte beantragt dem Bundesgericht mit eidgenössischer Berufung, den Entscheid des Kantonsgerichts St. Gallen vom 17. März 2004 aufzuheben und das Ausweisungsgesuch abzuweisen. Eventuell sei der angefochtene Entscheid aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Der Kläger schliesst auf Abweisung der Berufung. Er hat auch für das Verfahren vor Bundesgericht die unentgeltliche Rechtspflege verlangt, nachdem sein gestützt auf Art. 150 Abs. 2 OG eingereichtes Sicherstellungsgesuch mit Präsidialverfügung vom 28. Juni 2004 abgewiesen worden war. 