Sachverhalt: A. X._ wurde am 8. Oktober 2004 für den Militärdienst als untauglich erklärt. Seine Behinderung wurde dabei als nicht erheblich eingestuft. B. Mit Verfügung vom 12. Februar 2010 veranlagte das Amt für Bevölkerungsschutz, Sport und Militär des Kantons Bern X._ pro 2008 mit einer Wehrpflichtersatzabgabe in der Höhe von Fr. 254.45 (inkl. Verzugszins). X._ machte mit Einsprache geltend, die Ersatzabgabe diskriminiere ihn gegenüber Personen mit einer Behinderung von über 40 Prozent, gegenüber Personen, die den Militärdienst nicht mit ihrem Gewissen vereinbaren könnten, sowie gegenüber Frauen und verstosse gegen die Europäische Konvention zum Schutze der Menschenrechte und Grundfreiheiten vom 4. November 1950 (EMRK; SR 0.101). Das Amt für Bevölkerungsschutz, Sport und Militär des Kantons Bern wies die Einsprache mit Entscheid vom 21. April 2010 ab und trat mit Verfügung gleichen Datums auf ein von X._ sinngemäss gestelltes Revisionsgesuch betreffend Rückzahlung aller bezahlten Ersatzabgaben nicht ein. Die dagegen erhobene Beschwerde wies die Steuerrekurskommission des Kantons Bern mit Entscheid vom 4. April 2012 ab. C. X._ führt Beschwerde beim Bundesgericht mit den Anträgen, die Verfügung vom 12. Februar 2010 des Amts für Bevölkerungsschutz, Sport und Militär des Kantons Bern sowie das Urteil der Steuerrekurskommission des Kantons Bern vom 4. April 2012 aufzuheben und festzustellen, dass die Erhebung des Militärpflichtersatzes in seinem Fall zu einer ungerechtfertigten Diskriminierung führe und darauf zu verzichten sei. Auf seine Begründung ist in den Entscheiderwägungen einzugehen. Die Steuerrekurskommission des Kantons Bern und die Eidgenössische Steuerverwaltung, Wehrpflichtersatzabgabe, beantragen die Abweisung der Beschwerde. Das Amt für Bevölkerungsschutz, Sport und Militär des Kantons Bern hat sich nicht fristgerecht geäussert. X._ nimmt mit Eingabe vom 24. August 2012 zur Vernehmlassung der Eidgenössischen Steuerverwaltung Stellung. 