Sachverhalt: Mit Einspracheentscheid vom 7. Januar 2011 wies das Steueramt des Kantons Solothurn eine Einsprache von X._ hinsichtlich der Staatssteuer und der direkten Bundessteuer 2007 überwiegend ab. Der Versand erfolgte mit "A-Post-Plus" am 10. Januar 2011. Gegen den Einspracheentscheid führte der Steuerpflichtige mit Eingabe vom 7. Februar 2011 (Postaufgabe vom 13. Februar 2011) Rekurs und Beschwerde beim Steuergericht des Kantons Solothurn. Dieses trat mit Urteil vom 16. Mai 2011 auf die Rechtsmittel nicht ein, da diese verspätet eingereicht worden seien. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt X._ dem Bundesgericht, das Urteil des Steuergerichts des Kantons Solothurn vom 16. Mai 2011 sei aufzuheben und dieses anzuweisen, Beschwerde und Rekurs materiell zu behandeln; eventualiter sei die Sache zurückzuweisen und das Steuergericht anzuweisen, unter Wiederherstellung der Rechtsmittelfristen die Angelegenheit materiell zu behandeln. Das Kantonale Steueramt Solothurn, das Steuergericht des Kantons Solothurn und die Eidgenössische Steuerverwaltung beantragen Abweisung der Beschwerde (soweit darauf einzutreten ist). 