Sachverhalt: A. X._ unterhält als Einzelunternehmer einen Taxibetrieb in der Region Basel. Die Eidgenössische Steuerverwaltung, Hauptabteilung Mehrwertsteuer (hiernach: ESTV), trug X._ gemäss Schreiben vom 8. Dezember 2009 rückwirkend auf den 1. Januar 2005 ins Register der Mehrwertsteuerpflichtigen ein, nachdem sie ihn vorgängig zur Einreichung verschiedener Unterlagen aufgefordert hatte. Die geschuldete Steuer ermittelte sie ermessensweise, nachdem sich die buchhalterischen Aufzeichnungen von X._ als unzureichend erwiesen hatten. Mit Ergänzungsabrechnung vom 8. Dezember 2009 für die Zeit vom 1. Januar 2005 bis 31. Dezember 2008 forderte die ESTV von X._ Fr. 31'143.-- nebst Verzugszins nach. Nach Prüfung zusätzlich eingereichter Unterlagen reduzierte die ESTV ihre Steuerforderung um Fr. 7'601.-- und bestätigte mit Verfügung vom 10. März 2010 die Steuernachforderung im Betrag von insgesamt Fr. 23'542.--. B. Die gegen diese Verfügung erhobene Einsprache hiess die ESTV am 25. März 2011 teilweise gut, indem sie feststellte, X._ sei seit dem 1. Januar 2006 steuerpflichtig und er schulde der ESTV für die Steuerperioden 1. Quartal 2006 bis 4. Quartal 2008 insgesamt Fr. 15'678.-- Mehrwertsteuer zuzüglich Verzugszins. Die gegen den Einspracheentscheid erhobene Beschwerde hiess das Bundesverwaltungsgericht mit Urteil vom 24. Januar 2012 im Umfang von Fr. 100.-- gut und wies sie im Übrigen ab, soweit es darauf eintrat. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 2. März 2012 beantragt X._, das Urteil des Bundesverwaltungsgerichts vom 24. Januar 2012 sowie den Einspracheentscheid vom 25. März 2011 aufzuheben. Eventualiter sei die für den Zeitraum vom 1. Quartal 2007 bis und mit 4. Quartal 2008 zu bezahlende Mehrwertsteuer auf höchstens Fr. 6'588.-- nebst Zins festzusetzen. Das Bundesverwaltungsgericht hat - mit verspäteter Eingabe - auf Vernehmlassung verzichtet. Die Eidgenössische Steuerverwaltung schliesst auf Abweisung der Beschwerde. 