Sachverhalt: A. Der Zweckverband Alters- und Pflegeheim Steckborn reichte am 24. Januar 2003 ein Baugesuch ein für die Erweiterung des bestehenden Alters- und Pflegeheims in Steckborn. Innert der Auflagefrist erhoben B._ und A._ sowie die Eheleute X.C._/Y.C._ eine gemeinsame Einsprache. Mit ergänzender Eingabe vom 31. März 2003 stellten sie die Anträge, das Baugesuch sei aus privat- und öffentlichrechtlichen Gründen abzuweisen. Für den Fall, dass das Baugesuch bewilligt werden sollte, machten sie Entschädigungen von Fr. 150'000.-- (A._/ B._) bzw. Fr. 90'000.-- (C._) geltend. A. Der Zweckverband Alters- und Pflegeheim Steckborn reichte am 24. Januar 2003 ein Baugesuch ein für die Erweiterung des bestehenden Alters- und Pflegeheims in Steckborn. Innert der Auflagefrist erhoben B._ und A._ sowie die Eheleute X.C._/Y.C._ eine gemeinsame Einsprache. Mit ergänzender Eingabe vom 31. März 2003 stellten sie die Anträge, das Baugesuch sei aus privat- und öffentlichrechtlichen Gründen abzuweisen. Für den Fall, dass das Baugesuch bewilligt werden sollte, machten sie Entschädigungen von Fr. 150'000.-- (A._/ B._) bzw. Fr. 90'000.-- (C._) geltend. B. Mit Entscheid vom 30. Juni 2003 trat das Departement für Bau und Umwelt des Kantons Thurgau (DBU) auf die öffentlichrechtliche Einsprache nicht ein, wies die privatrechtliche Einsprache ab und erteilte die Baubewilligung unter verschiedenen Bedingungen und Auflagen. Es erwog sinngemäss, die Liegenschaften der Einsprecher lägen mindestens 100 Meter vom geplanten Anbau entfernt; dazwischen liege eine ganze Bautiefe mit Einfamilienhäusern. Der vorgebrachte Entzug von Aussicht und der daraus resultierende Minderwert der Liegenschaften seien aus öffentlichrechtlicher Sicht ohne Belang. B. Mit Entscheid vom 30. Juni 2003 trat das Departement für Bau und Umwelt des Kantons Thurgau (DBU) auf die öffentlichrechtliche Einsprache nicht ein, wies die privatrechtliche Einsprache ab und erteilte die Baubewilligung unter verschiedenen Bedingungen und Auflagen. Es erwog sinngemäss, die Liegenschaften der Einsprecher lägen mindestens 100 Meter vom geplanten Anbau entfernt; dazwischen liege eine ganze Bautiefe mit Einfamilienhäusern. Der vorgebrachte Entzug von Aussicht und der daraus resultierende Minderwert der Liegenschaften seien aus öffentlichrechtlicher Sicht ohne Belang. C. Die Einsprecher gelangten dagegen am 21. Juli 2003 mit Beschwerde ans Verwaltungsgericht des Kantons Thurgau und erneuerten die vor dem Departement gestellten Rechtsbegehren. Das Verwaltungsgericht führte am 12. November 2003 einen Augenschein durch. Mit Urteil vom 14. Januar 2004 wies es die Beschwerde ab, soweit es darauf eintrat. Es erwog, auf das Begehren um Schadenersatz könne nicht eingetreten werden, da dieses in die Zuständigkeit der Ziviljustiz falle. Die Beschwerdeführer seien vom geplanten Anbau nicht mehr als jedermann betroffen und daher nicht zur öffentlichrechtlichen Einsprache legitimiert. Auch im Lichte des privatrechtlichen Immissionsschutzes sei die Beschwerde unbegründet. C. Die Einsprecher gelangten dagegen am 21. Juli 2003 mit Beschwerde ans Verwaltungsgericht des Kantons Thurgau und erneuerten die vor dem Departement gestellten Rechtsbegehren. Das Verwaltungsgericht führte am 12. November 2003 einen Augenschein durch. Mit Urteil vom 14. Januar 2004 wies es die Beschwerde ab, soweit es darauf eintrat. Es erwog, auf das Begehren um Schadenersatz könne nicht eingetreten werden, da dieses in die Zuständigkeit der Ziviljustiz falle. Die Beschwerdeführer seien vom geplanten Anbau nicht mehr als jedermann betroffen und daher nicht zur öffentlichrechtlichen Einsprache legitimiert. Auch im Lichte des privatrechtlichen Immissionsschutzes sei die Beschwerde unbegründet. D. A._ und B._ sowie X.C._/Y.C._ erheben mit Eingabe vom 10. März 2004 staatsrechtliche Beschwerde mit dem Antrag, der Entscheid des Verwaltungsgerichts sei aufzuheben. Zudem beantragen sie die Erteilung der aufschiebenden Wirkung. D. A._ und B._ sowie X.C._/Y.C._ erheben mit Eingabe vom 10. März 2004 staatsrechtliche Beschwerde mit dem Antrag, der Entscheid des Verwaltungsgerichts sei aufzuheben. Zudem beantragen sie die Erteilung der aufschiebenden Wirkung. E. Mit Verfügung vom 6. April 2004 wies der Präsident der I. öffentlichrechtlichen Abteilung des Bundesgerichts das Gesuch um Erteilung der aufschiebenden Wirkung ab. E. Mit Verfügung vom 6. April 2004 wies der Präsident der I. öffentlichrechtlichen Abteilung des Bundesgerichts das Gesuch um Erteilung der aufschiebenden Wirkung ab. F. Das Verwaltungsgericht und die Politische Gemeinde Steckborn schliessen auf Abweisung der Beschwerde. Der Zweckverband Alters- und Pflegeheim Steckborn beantragt, auf die Beschwerde nicht einzutreten oder sie abzuweisen. Das DBU verzichtet auf eine Vernehmlassung. 