Sachverhalt: A. Die Gemeinde A._ ist Eigentümerin des landwirtschaftlichen Grundstücks Nr. 1 (Grundbuch A._). Davon ist ein Teil an R._ verpachtet. Am 30. April 1998 erklärte sich die Eigentümerin und Verpächterin damit einverstanden, dass der Pächter den Pachtgegenstand zur Bewirtschaftung der S._ AG zur Verfügung stellt. Die S._ AG ging aus dem Zusammenschluss der Landwirtschaftsbetriebe von R._ und Y._ hervor und wurde vom kantonalen Landwirtschaftsamt ab 1. Januar 1997 als Betriebsgemeinschaft anerkannt. An der S._ AG waren ursprünglich die Eheleute R._ und Y._ zu je 48% beteiligt. Die restlichen Aktien wurden von zwei weiteren Aktionären im Umfang von je 2% gehalten. In den Jahren 2000 und 2001 wurde auf dem Grundstück Nr. 1 eine Entenanlage erstellt. Nach Unstimmigkeiten kündigten die Eheleute R._ der S._ AG am 17. Dezember 2004 "das Pachtverhältnis über die Grundstücke Nrn. 2 (Eigenland R._) und das Unterpachtverhältnis über das Grundstück Nr. 1 (Pachtland Gemeinde A._) auf den nächstmöglichen Termin, d.h. auf den 1. April 2006". Die S._ AG focht die Kündigung erfolglos an. Das Kreisgericht Werdenberg-Sargans (Urteil vom 3. November 2005), das Kantonsgericht St. Gallen (Urteil BZ.2006.8 vom 17. Januar 2007) und das Bundesgericht (Urteil 4A_10/2007 vom 18. April 2007) bestätigten die Rechtmässigkeit der Kündigung per 31. März 2007. Am 16. August 2007 leiteten R._ und die Gemeinde A._ (nachfolgend: Beschwerdegegner) gegen die S._ AG hinsichtlich der Entenanlage ein Pächterausweisungsverfahren ein. Dieses Verfahren ist in der Zwischenzeit beim Einzelrichter für Rekurse im Obligationenrecht des Kantonsgerichts hängig. B. Am 1. Oktober 2007 reichten die Beschwerdegegner beim Kreisgericht Werdenberg-Sargans zudem ein Gesuch um Besitzesschutz ein, welches sich nicht gegen die S._ AG, sondern gegen die X._ AG (nachfolgend: Beschwerdeführerin 1) sowie Y._ (nachfolgend: Beschwerdeführer 2) richtete. Sie begründeten dieses zusätzliche Gesuch damit, dass die S._ AG im Rahmen des Pächterausweisungsverfahrens geltend gemacht habe, dass nicht sie, sondern die Beschwerdeführerin 1 Benützerin der Entenanlage sei und dass der Beschwerdeführer 2 als deren Vertreter die Anlage betreibe. Weiter machten die Beschwerdegegner geltend, dass tatsächlicher Betreiber der Anlage der Beschwerdeführer 2 sei. Die Beschwerdegegner beantragten, die Beschwerdeführer seien zu verpflichten, das Areal der Entenanlage auf dem landwirtschaftlichen Grundstück Nr. 1 zu verlassen und nicht mehr zu betreten. Zudem sei ihnen gerichtlich zu befehlen, sämtliche Tiere und Fahrnis vollständig aus der Entenanlage wegzuräumen. Nach der mündlichen Verhandlung vom 22. November 2007 schützte die Präsidentin des Kreisgerichts Werdenberg-Sargans das Begehren um Besitzesschutz und befahl den Beschwerdeführern, das Areal der Entenanlage auf dem landwirtschaftlichen Grundstück Nr. 1, Grundbuch A._, innert zehn Tagen zu verlassen, sämtliche Tiere und Fahrnis vollständig wegzuräumen und das Grundstück nicht mehr zu betreten. Für den Fall der Nichtbeachtung dieses Befehls wurden den Beschwerdeführern eine Busse und die Vollstreckung durch unmittelbaren Zwang angedroht. Die politische Gemeinde A._ wurde angewiesen, den rechtskräftigen Entscheid auf erstes Verlangen der Beschwerdegegner zwangsweise zu vollstrecken. C. Gegen diesen Entscheid erhoben die Beschwerdeführer am 24. Dezember 2007 Rekurs beim Kantonsgericht St. Gallen mit folgenden materiellen Anträgen: 1. Es sei der Entscheid der Kreisgerichtspräsidentin des Kreisgerichts Werdenberg-Sargans vom 22. November 2007 aufzuheben und es sei das Gesuch um Besitzesschutz vollumfänglich abzuweisen, soweit darauf einzutreten ist. 2. Eventuell sei der Entscheid der Kreisgerichtspräsidentin des Kreisgerichts Werdenberg-Sargans vom 22. November 2007 aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen." In prozessualer Hinsicht stellten sie den Antrag, das vorliegende Verfahren bis zur rechtskräftigen Erledigung des Verfahrens OV.2007.25-WS3K-RWI in Sachen X._ AG gegen die Gemeinde A._ zu sistieren. In jenem Verfahren klagt die X._ AG auf Übertragung derjenigen Teilfläche des Grundstücks Nr. 1 (Grundbuch A._) zu Eigentum, auf welcher sich die Entenanlage befindet. Wie sich aus der Begründung des Rekurses ergibt, beantragten die Beschwerdeführer vor Kantonsgericht subeventualiter die Einräumung einer Frist zur Räumung der Entenanlage von mindestens einem Jahr. Mit Entscheid vom 17. April 2008 wies das Kantonsgericht den Sistierungsantrag und den Rekurs ab und schützte im Übrigen den erstinstanzlichen Entscheid, insbesondere auch die Frist zur Räumung der Entenanlage von zehn Tagen. D. Mit Eingabe vom 30. April 2008 beantragen die Beschwerdeführer dem Bundesgericht was folgt: 1. Es sei der Entscheid des Einzelrichters des Kantonsgerichts St. Gallen aufzuheben. 2. Evtl. sei der Entscheid des Einzelrichters des Kantonsgerichts St. Gallen vom 17. April 2008 aufzuheben und zur Neubeurteilung an die Vorinstanz zurückzuweisen. 3. Subeventuell sei im Falle der Bestätigung des vorinstanzlichen Entscheides den Beschwerdeführern zur Räumung der Entenanlage eine Frist von mindestens einem Jahr bzw. nach richterlichem Ermessen eine tierschutzgerechte und den Verhältnissen angepasste Frist einzuräumen." Mit Verfügung vom 15. Mai 2008 wurde der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt. Die Beschwerdegegner reichten am 8. Mai 2008 zur aufschiebenden Wirkung und unaufgefordert zur Sache eine Vernehmlassung ein. 