Sachverhalt: A. Das Kantonale Steueramt St. Gallen stellte am 4. Juli 2012 fest, A._ sei in den Jahren 2010 und 2011 in U._ unbeschränkt steuerpflichtig. Eine dagegen erhobene Einsprache wies es am 29. Januar 2013 ab. B. Gegen den Einspracheentscheid rekurrierte A._, anwaltlich vertreten, am 26. Februar 2013 bei der Verwaltungsrekurskommission des Kantons St. Gallen. Diese forderte ihn am 27. Februar 2013 auf, bis zum 15. März 2013 einen Kostenvorschuss von Fr. 800.-- zu leisten. Die Aufforderung war mit der Androhung verbunden, das Verfahren werde bei nicht fristgerechter Bezahlung des Kostenvorschusses am Protokoll abgeschrieben. Innert der angesetzten Frist wurde der Kostenvorschuss nicht geleistet. Am 26. März 2013 reichte A._ ein Gesuch um Wiederherstellung der versäumten Frist ein und bezahlte den Kostenvorschuss. Die Verwaltungsrekurskommission wies das Gesuch am 23. April 2013 ab, und zugleich schrieb sie den Rekurs ab. Die gegen diesen Entscheid erhobene Beschwerde wies das Verwaltungsgericht des Kantons St. Gallen mit Urteil vom 8. November 2013 ab. C. A._ erhebt am 21. Dezember 2013 Beschwerde beim Bundesgericht mit den Anträgen, das angefochtene Urteil aufzuheben, die Wiederherstellung der Frist für die Zahlung des Kostenvorschusses gutzuheissen und die Sache zur materiellen Entscheidung an die Verwaltungsrekurskommission zurückzuweisen. Eventuell sei die Sache zu neuer Entscheidung über die Wiederherstellung an das Verwaltungsgericht, subeventuell an die Verwaltungsrekurskommission zurückzuweisen. Das Verwaltungsgericht und das Steueramt schliessen auf Abweisung der Beschwerde. Die Eidgenössische Steuerverwaltung hat auf eine Vernehmlassung verzichtet. 