Sachverhalt: A. Gegen die beiden Einspracheentscheide vom 27. März 2007, mit welchen sie von der Steuerverwaltung des Kantons Appenzell-Ausserrhoden für die Staats- und Gemeindesteuern 2004 einerseits und für die direkte Bundessteuer 2004 andererseits eingeschätzt wurden, gelangten X._ und Y._ mit zwei Eingaben ans Verwaltungsgericht von Appenzell-Ausserrhoden. Mit Schreiben vom 25. April 2007 forderte dieses sie auf, innert zehn Tagen einen Kostenvorschuss von 150 Franken pro Verfahren zu bezahlen, ansonsten auf die Beschwerden nicht eingetreten werde. Am 7. Mai 2007 stellten die Ehegatten X._ und Y._ ein Fristerstreckungsgesuch; die verlangten Kostenvorschüsse zahlten sie dann am 9. Mai 2007 auf der Poststelle in Zürich-Oerlikon ein. Mit Entscheid vom 24. Mai 2007 ist das Verwaltungsgericht auf ihre Beschwerden nicht eingetreten, weil sowohl das Fristerstreckungsgesuch als auch die Zahlung der Kostenvorschüsse verspätet erfolgt sei. B. Am 2. Juni 2007 haben X._ und Y._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten eingereicht mit dem Antrag, den Nichteintretensentscheid des Verwaltungsgerichts aufzuheben. Sie behaupten zunächst, das Fristverlängerungsgesuch rechtzeitig gestellt zu haben; weiter machen sie geltend, die für die Bezahlung des Kostenvorschusses angesetzte Frist sei mit zehn Tagen zu kurz bemessen gewesen. Sie rügen insbesondere, das Verwaltungsgericht habe das kantonale Prozessrecht offensichtlich unrichtig gehandhabt und so das Willkürverbot (Art. 9 BV; vgl. BGE 127 I 60 E. 5a S. 70) verletzt. Die Steuerverwaltung und das Verwaltungsgericht des Kantons Appenzell-Ausserrhoden sowie die Eidgenössische Steuerverwaltung schliessen je auf Abweisung der Beschwerde. 