Sachverhalt: A. X._ (geb. 1963), Inhaber der Einzelfirma "Z._", meldete sich am 9. Januar 1997 von A._/ZH nach B._/SZ ab, wo er bei einem Geschäftspartner wohnte; daneben behielt er sein Reiheneinfamilienhaus in A._/ZH. Ab 1. Oktober 1997 hielt er sich eine 11⁄2-Zimmer-Wohnung an der G._ in C._/SZ zur Verfügung (Mietzins pro Monat: Fr. 930.--, einschliesslich Nebenkosten). Als Mieterin trat formell die I._ GmbH auf, an welcher X._ zusammen mit seinem Bruder M._ beteiligt ist. Am 27. März 1998 erwarb er ein geräumiges Einfamilienhaus in der Gemeinde D._/TG. Im August 2002 zog seine heutige Ehefrau (Heirat am 4. Juli 2003) mit ihrer Tochter zu ihm nach D._/TG. B. Am 23. August 2000 nahm das Gemeindesteueramt D._/TG eine Steuerausscheidung unter den drei Steuerdomizilen F._/ZH (recte: C._/SZ), A._/ZH und D._/TG für die Steuerperiode 1999 vor. Dabei betrachtete es D._/TG nur als Belegenheitskanton und ermittelte ein in diesem Kanton steuerbares Einkommen von Fr. 30'200.-- (zum Satz von Fr. 2'487'000.--) und ein steuerbares Vermögen von Fr. 621'500.-- (zum Satz von Fr. 4'126'900.--). Mit definitiver Veranlagungsverfügung vom 16. Oktober 2000 stellte die Stadtgemeinde D._/TG X._ Rechnung für die Staats- und Gemeindesteuern 1999. Diese Veranlagung blieb unangefochten und erwuchs in Rechtskraft. C. Mit Schreiben vom 8. Januar 2003 stellte das Gemeindesteueramt D._/TG nach Rücksprache mit der Steuerverwaltung des Kantons Schwyz fest, der steuerrechtliche Wohnsitz von X._ befinde sich ab 1. Januar 1999 in D._/TG. Diese Feststellung wurde im kantonalen Rechtsmittelverfahren letztinstanzlich mit Urteil vom 26. April 2006 des Verwaltungsgerichts des Kantons Thurgau bestätigt. D. Mit Veranlagungsverfügung vom 10. Juli 2006 setzte die Kantonale Steuerverwaltung Schwyz das in diesem Kanton steuerbare Einkommen und Vermögen von X._ für die Veranlagungsperiode 1999/2000 auf Fr. 0.-- fest; dies mit der Begründung, dass angesichts des blossen Scheindomizils eine Besteuerung im Kanton Schwyz entfalle. Dagegen erhob X._ am 7. September 2006 Einsprache. E. Die von X._ gegen das erwähnte Urteil des Verwaltungsgerichts des Kantons Thurgau gerichtete staatsrechtliche Beschwerde wies das Bundesgericht mit Urteil vom 7. Dezember 2006 ab, soweit es darauf eintrat. In der Folge zog X._ seine Einsprache gegen die Verfügung der Steuerverwaltung Schwyz zurück. F. Am 26. November 2008 veranlagte die Steuerverwaltung des Kantons Thurgau X._ für die direkte Bundessteuer 1999 und 2000 mit einem steuerbaren Einkommen von Fr. 2'255'300.-- bzw. Fr. 2'816'100.--. Die vom Steuerpflichtigen dagegen gerichteten Einsprachen wurden am 6. Januar 2010 abgewiesen; die Einspracheentscheide sind unangefochten geblieben und in Rechtskraft erwachsen. Im Mai 2010 hat der Steuerpflichtige die entsprechenden Steuerrechnungen beglichen. Am 7. Juni 2010 verlangte der Steuerpflichtige bei der Steuerverwaltung des Kantons Thurgau, es sei festzustellen, dass die Veranlagungsverfügungen vom 26. November 2008 und die Einspracheentscheide vom 6. Januar 2010 nichtig seien. Die Veranlagungsbehörde nahm die verspätete Einsprache als Fristwiederherstellungsgesuch entgegen und ersuchte den Beschwerdeführer um nähere Angaben bezüglich der Gründe. Da der Beschwerdeführer darauf und auch auf die Einladung zu einer mündlichen Verhandlung zur Klärung der Sachlage nicht reagierte, erachtete sie das Gesuch als hinfällig; auf die Einsprache trat sie wegen Verspätung nicht ein; weiter stellte sie in ihrem Entscheid vom 3. November 2010 fest, dass die Einspracheentscheide vom 6. Januar 2010 nicht nichtig seien. Sowohl die Steuerrekurskommission als auch das Verwaltungsgericht des Kantons Thurgau bestätigten, dass die angefochtenen Veranlagungsverfügungen nicht nichtig seien und wiesen die vom Beschwerdeführer erhobenen Beschwerden ab. G. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen X._ und Y._ dem Bundesgericht, den Entscheid des Verwaltungsgerichts des Kantons Thurgau vom 28. September 2011 aufzuheben und die Nichtigkeit der Veranlagungsverfügungen des Kantons Thurgau vom 6. Januar 2010 betreffend die direkten Bundessteuern festzustellen. Es wurden keine Vernehmlassungen eingeholt. 