Sachverhalt: A. X._ betreibt als Einzelunternehmer einen Taxibetrieb in der Stadt Basel. Nach Abklärungen, welche die Eidgenössische Steuerverwaltung, Hauptabteilung Mehrwertsteuer, gegenüber X._ vorgenommen hatte, teilte die Eidgenössische Stuerverwaltung diesem mit, dass sie ihn rückwirkend ab 1. Januar 2005 (recte: 2002) im Register der Mehrwertsteuerpflichtigen eingetragen habe (Schreiben vom 1. November 2007). Gleichzeitig stellte sie ihm mit Ergänzungsabrechnung (EA) 117835 vom 1. November 2007 für die Mehrwertsteuern 1. Quartal 2002 bis 4. Quartal 2006 den Betrag von Fr. 25'616.00 in Rechnung. Nach Bestreitung der Steuerpflicht und der Steuerforderung durch X._ und nach weiteren Abklärungen durch die Eidgenössische Steuerverwaltung bestätigte diese mit Entscheid vom 12. Februar 2008 die Steuerpflicht ab 1. Januar 2002, belastete zusätzlich Mehrwertsteuern im Betrag von Fr. 2'842.45 (EA 117867) und bestätigte die Steuerforderungen. Im Einspracheverfahren forderte die Eidgenössische Steuerverwaltung X._ auf, die gesamte Buchhaltung einschliesslich Kassabücher, Tagesrapporte und Monatszusammenstellungen über die Einnahmen der Jahre 2001- 2006 einzureichen. Zudem verlangte sie eine Aufstellung über die an jedem Tag gefahrenen Privatkilometer mit Angabe des Grundes für jede Privatfahrt. Mit Einspracheentscheid vom 5. August 2011 hiess die Eidgenössische Steuerverwaltung die Einsprache teilweise gut, bestätigte die Steuerpflicht ab 1. Januar 2002 und setzte die Mehrwertsteuer neu auf Fr. 27'125.00 zuzüglich Verzugszins fest. B. Eine Beschwerde von X._ wies das Bundesverwaltungsgericht mit Urteil vom 3. Mai 2012 ab. C. Hiergegen führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Anträgen, das Urteil des Bundesverwaltungsgerichts vom 3. Mai 2012 sei aufzuheben und es sei festzustellen, dass er für die Jahre 2002 bis 2006 nicht steuerpflichtig sei. Eventualiter sei die Sache zur Ergänzung des Sachverhalts und neuer Entscheidung an die Vorinstanz zurückzuweisen. Die Hauptabteilung Mehrwertsteuer der Eidgenössische Steuerverwaltung beantragt Abweisung der Beschwerde. Das Bundesverwaltungsgericht verzichtete auf Vernehmlassung. Einem Antrag des (neubestellten) Vertreters des Beschwerdeführers, die Beschwerde nach Ablauf der Beschwerdefrist zu ergänzen, wurde nicht stattgegeben, da die Beschwerdefrist eine gesetzliche sei und nicht erstreckt werden könne. Der Vertreter erhielt jedoch Gelegenheit, zu den eingegangenen Vernehmlassungen Stellung zu nehmen. 