Sachverhalt: Sachverhalt: A. J.X._ ist Verwaltungsratspräsident und Verkaufsleiter der Ofenherstellerin N._ AG sowie einziger Verwaltungsrat der V._ AG, die unter anderem Immobilien verwaltet und Finanz- sowie Handelsgeschäfte abwickelt. Er besitzt mehrere Liegenschaften. 1986 erwarb er die Liegenschaft Nr. 11 in S._, R._/ TG (16'800 m2, mit diversen Gebäuden), welche 1994 in die Grundstücke Nrn. 11 und 222 aufgeteilt wurde; 1995 entstand aufgrund einer Grenzänderung zudem das Grundstück Nr. 333. Am 13. September 1995 veräusserte er einen Teil der Liegenschaft Nr. 11 und schloss gleichzeitig zwei Kaufverträge über die Grundstücke Nrn. 333 und 222 ab; dieses Grundstück wechselte gleichentags den Eigentümer; vom Vertrag über das Grundstück Nr. 333 trat die Käuferin am 25. Mai 1999 indes wegen finanzieller Probleme zurück. J.X._ blieb Eigentümer der Liegenschaft Nr. 11 (1'680 m2 mit zwei Gebäuden). Er verkaufte am 30. Juni 1999 das Grundstück Nr. 333 (inkl. Bauprojekt) für 1,6 Mio. Franken und erwarb von der Käuferin gleichzeitig eine Liegenschaft für 3,6 Mio. Franken. Am 25. August 2003 veranlagte das Kantonale Steueramt St. Gallen J.X._ und seine Ehefrau U.X._ für die direkte Bundessteuer 1999 wegen "Quasi-Liegenschaftenhandel" mit einer Jahressteuer von Fr. 82'217.-- auf ausserordentlichen Einkünften von Fr. 715'000.-- (Fr. 798'500.-- Grundstückgewinn gemäss entsprechender Veranlagung 1999 der Steuerverwaltung des Kantons Thurgau vom 23. März 2000, abzüglich Fr. 83'500.-- AHV-Beiträge). Eine hiergegen erhobene Einsprache des Ehepaars X._ wies die Kantonale Verwaltung für die direkte Bundessteuer am 17. Mai 2004 ab. A. J.X._ ist Verwaltungsratspräsident und Verkaufsleiter der Ofenherstellerin N._ AG sowie einziger Verwaltungsrat der V._ AG, die unter anderem Immobilien verwaltet und Finanz- sowie Handelsgeschäfte abwickelt. Er besitzt mehrere Liegenschaften. 1986 erwarb er die Liegenschaft Nr. 11 in S._, R._/ TG (16'800 m2, mit diversen Gebäuden), welche 1994 in die Grundstücke Nrn. 11 und 222 aufgeteilt wurde; 1995 entstand aufgrund einer Grenzänderung zudem das Grundstück Nr. 333. Am 13. September 1995 veräusserte er einen Teil der Liegenschaft Nr. 11 und schloss gleichzeitig zwei Kaufverträge über die Grundstücke Nrn. 333 und 222 ab; dieses Grundstück wechselte gleichentags den Eigentümer; vom Vertrag über das Grundstück Nr. 333 trat die Käuferin am 25. Mai 1999 indes wegen finanzieller Probleme zurück. J.X._ blieb Eigentümer der Liegenschaft Nr. 11 (1'680 m2 mit zwei Gebäuden). Er verkaufte am 30. Juni 1999 das Grundstück Nr. 333 (inkl. Bauprojekt) für 1,6 Mio. Franken und erwarb von der Käuferin gleichzeitig eine Liegenschaft für 3,6 Mio. Franken. Am 25. August 2003 veranlagte das Kantonale Steueramt St. Gallen J.X._ und seine Ehefrau U.X._ für die direkte Bundessteuer 1999 wegen "Quasi-Liegenschaftenhandel" mit einer Jahressteuer von Fr. 82'217.-- auf ausserordentlichen Einkünften von Fr. 715'000.-- (Fr. 798'500.-- Grundstückgewinn gemäss entsprechender Veranlagung 1999 der Steuerverwaltung des Kantons Thurgau vom 23. März 2000, abzüglich Fr. 83'500.-- AHV-Beiträge). Eine hiergegen erhobene Einsprache des Ehepaars X._ wies die Kantonale Verwaltung für die direkte Bundessteuer am 17. Mai 2004 ab. B. Gegen deren Einspracheentscheid gelangten die Ehegatten X._ an die Verwaltungsrekurskommission des Kantons St. Gallen. Diese wies die Beschwerde am 27. April 2005 ab. B. Gegen deren Einspracheentscheid gelangten die Ehegatten X._ an die Verwaltungsrekurskommission des Kantons St. Gallen. Diese wies die Beschwerde am 27. April 2005 ab. C. J. und U.X._ haben am 30. Mai 2005 gegen diesen Entscheid Verwaltungsgerichtsbeschwerde beim Bundesgericht eingereicht. Sie beantragen, das angefochtene Urteil und die Veranlagungsverfügung vom 25. August 2003 seien aufzuheben und es sei festzustellen, dass die Beschwerdeführer nicht als "Quasi-Liegenschaftenhändler" zu qualifizieren seien, weshalb die fragliche Besteuerung entfalle; eventuell sei die Sache zur Neubeurteilung an die Vorinstanz oder die Einsprachebehörde zurückzuweisen. Das Kantonale Steueramt, die Verwaltungsrekurskommission und die Eidgenössische Steuerverwaltung beantragen, die Beschwerde abzuweisen. Zu diesen Eingaben haben die Beschwerdeführer unaufgefordert Stellung genommen. 