Sachverhalt: A. X._ war Eigentümer des Grundstücks Nr. 1461 in Q._. Am 22. Dezember 1970 trennte er von seinem Grundstück eine Teilfläche als Grundstück Nr. 1939 ab. Dieses verkaufte er Y._. Die Vertragsparteien begründeten zudem je ein "Fahrrecht" zugunsten und zulasten ihrer Grundstücke. A._ und B._ sind heute Miteigentümer des Grundstücks Nr. 619 (früher Nr. 1461). Das nördlich daran angrenzende Grundstück Nr. 96 (früher Nr. 1939) befindet sich im Miteigentum von C._ und D._. Die beiden Grundstücke grenzen auf der Ostseite an die S._strasse an. B. Mit Weisung des Friedensrichteramtes R._ vom 26. April 2010 beantragten C._ und D._ dem Bezirksgericht Kreuzlingen die Löschung des ihr Grundstück Nr. 96 belastenden Fahrrechts. A._ und B._ beantragten die Abweisung der Klage und verlangten ihrerseits widerklageweise die Löschung des ihr Grundstück Nr. 619 belastenden Fahrrechts sowie eine Verlegung des zulasten des Grundstücks Nr. 96 von C._ und D._ bestehenden Fahrrechts. Mit Urteil vom 16. September 2010 hiess das Bezirksgericht die Klage und Widerklage auf Ablösung der Fahrrechte gut. Den Antrag von A._ und B._ auf Verlegung des Fahrrechts erklärte es als gegenstandslos. C. Dagegen gelangten A._ und B._ an das Obergericht des Kantons Thurgau. Dieses hiess die Berufung mit Urteil vom 15. Februar 2011 insofern teilweise gut (Ziff. 1 des Dispositivs), als es die Ablösung des Fahrrechts zulasten des Grundstücks Nr. 96 von C._ und D._ und zugunsten des Grundstücks Nr. 619 von A._ und B._ nur gegen Leistung einer Entschädigung von Fr. 100.-- erklärte (Ziff. 2 des Dispositivs). Im Übrigen bestätigte es den bezirksgerichtlichen Entscheid betreffend die Ablösung des Fahrrechts zulasten des Grundstücks Nr. 619 von A._ und B._ (Ziff. 3 des Dispositivs) und regelte die Kosten (Ziff. 4 des Dispositivs). D. Dem Bundesgericht beantragen A._ und B._ (nachfolgend Beschwerdeführer) in ihrer subsidiären Verfassungsbeschwerde vom 1. April 2011 die Aufhebung des obergerichtlichen Entscheides und die Bestätigung des Bestands des Fahrrechts zulasten des Grundstücks Nr. 96 von C._ und D._ (nachfolgend Beschwerdegegner) und zugunsten ihres Grundstücks Nr. 619, unter Kosten- und Entschädigungsfolgen zulasten der Beschwerdegegner. Zudem ersuchen die Beschwerdeführer um aufschiebende Wirkung. Die Beschwerdegegner und das Obergericht haben sich dazu nicht vernehmen lassen. Mit Verfügung vom 2. Mai 2011 hat die Abteilungspräsidentin der Beschwerde die aufschiebende Wirkung zuerkannt. Das Bundesgericht hat die Akten, hingegen in der Sache keine Vernehmlassungen eingeholt. 