Sachverhalt: Sachverhalt: A. Mit Entscheid vom 21. Juni 2004 lehnte die Politische Gemeinde Sirnach das nachträgliche Baugesuch von X._ für ein von ihm erstelltes Holzhaus (Fahrnisbaute) auf seiner Parzelle Nr. 1718, Grundbuch Sirnach ab; gleichzeitig setzte sie ihm eine Frist von 30 Tagen ab Rechtskraft des Entscheids, um die Baute abzubrechen und den ursprünglichen Zustand wieder herzustellen. Im Rahmen des entsprechenden Bewilligungsverfahrens hatten Pro Natura Thurgau und Pro Natura Schweiz Einsprache gegen das Gesuch erhoben; diese wurde im Entscheid vom 21. Juni 2004 gutgeheissen. Da das Grundstück ausserhalb der Bauzone liegt, war das Baugesuch in diesem Verfahren dem Amt für Raumplanung des Kantons Thurgau vorzulegen. Es beurteilte das Gesuch gegenüber der Gemeinde mit Schreiben vom 18. März 2004 negativ; die Voraussetzungen für eine Ausnahmebewilligung nach Art. 24 des Bundesgesetzes über die Raumplanung (RPG; SR 700) seien nicht gegeben. A. Mit Entscheid vom 21. Juni 2004 lehnte die Politische Gemeinde Sirnach das nachträgliche Baugesuch von X._ für ein von ihm erstelltes Holzhaus (Fahrnisbaute) auf seiner Parzelle Nr. 1718, Grundbuch Sirnach ab; gleichzeitig setzte sie ihm eine Frist von 30 Tagen ab Rechtskraft des Entscheids, um die Baute abzubrechen und den ursprünglichen Zustand wieder herzustellen. Im Rahmen des entsprechenden Bewilligungsverfahrens hatten Pro Natura Thurgau und Pro Natura Schweiz Einsprache gegen das Gesuch erhoben; diese wurde im Entscheid vom 21. Juni 2004 gutgeheissen. Da das Grundstück ausserhalb der Bauzone liegt, war das Baugesuch in diesem Verfahren dem Amt für Raumplanung des Kantons Thurgau vorzulegen. Es beurteilte das Gesuch gegenüber der Gemeinde mit Schreiben vom 18. März 2004 negativ; die Voraussetzungen für eine Ausnahmebewilligung nach Art. 24 des Bundesgesetzes über die Raumplanung (RPG; SR 700) seien nicht gegeben. B. Das Departement für Bau und Umwelt des Kantons Thurgau hiess den Rekurs von X._ gegen den kommunalen Entscheid am 7. Dezember 2004 in einem Nebenpunkt, der die Ausdehnung des Verfahrens auf andere Objekte auf der fraglichen Parzelle betraf, gut; insoweit wurde das Verfahren an die Gemeinde zur Durchführung eines weiteren nachträglichen Baubewilligungsverfahrens zurückgewiesen. Im Hauptpunkt wies das Departement das Rechtsmittel ab. Der Rekursentscheid ging X._ bzw. seinem Rechtsvertreter am 8. Dezember 2004 zu. Am 10. Januar 2005 legte er hiergegen Beschwerde beim Verwaltungsgericht des Kantons Thurgau ein. Dieses trat mit Entscheid vom 16. März 2005 auf die Beschwerde nicht ein, weil sie verspätet sei. Der Rekursentscheid ging X._ bzw. seinem Rechtsvertreter am 8. Dezember 2004 zu. Am 10. Januar 2005 legte er hiergegen Beschwerde beim Verwaltungsgericht des Kantons Thurgau ein. Dieses trat mit Entscheid vom 16. März 2005 auf die Beschwerde nicht ein, weil sie verspätet sei. C. Mit staatsrechtlicher Beschwerde vom 28. April 2005 beantragt X._, der Entscheid des Verwaltungsgerichts sei aufzuheben. Er rügt eine Verletzung des Willkürverbots (Art. 9 BV) in tatsächlicher und rechtlicher Hinsicht sowie eine Missachtung seines Anspruchs auf rechtliches Gehör (Art. 29 Abs. 2 BV). Die Politische Gemeinde Sirnach, das Amt für Raumplanung, das Departement für Bau und Umwelt und das Verwaltungsgericht ersuchen um Abweisung der Beschwerde. Pro Natura Thurgau und Pro Natura Schweiz erklären Verzicht auf eine Beteiligung am bundesgerichtlichen Verfahren. Die Politische Gemeinde Sirnach, das Amt für Raumplanung, das Departement für Bau und Umwelt und das Verwaltungsgericht ersuchen um Abweisung der Beschwerde. Pro Natura Thurgau und Pro Natura Schweiz erklären Verzicht auf eine Beteiligung am bundesgerichtlichen Verfahren. D. Der Präsident der I. öffentlichrechtlichen Abteilung hat der Beschwerde mit Verfügung vom 27. Mai 2005 aufschiebende Wirkung zuerkannt. 