Sachverhalt: A. X._ betreibt in der Rechtsform der Einzelunternehmung ein Taxiunternehmen in Basel. B. Nach Abschluss diverser Untersuchungen teilte die Eidgenössische Steuerverwaltung (ESTV) X._ am 27. Oktober 2009 mit, er werde rückwirkend per 1. Januar 2005 ins Register der Mehrwertsteuerpflichtigen eingetragen. Am 1. Dezember 2009 bestätigte die ESTV die Steuerpflicht von X._ ab 1. Januar 2005 förmlich und forderte für die Zeit vom 1. Januar 2005 bis 31. Dezember 2008 Mehrwertsteuern in der Höhe von Fr. 27'366.-- nebst Verzugszins nach. Mit Einspracheentscheid vom 22. November 2012 korrigierte die ESTV die Nachforderung auf den Betrag von Fr. 25'545.-- nebst Verzugszins. Die dagegen erhobene Beschwerde hiess das Bundesverwaltungsgericht am 22. Juli 2013 im Umfang von Fr. 3'505.-- gut, soweit es darauf eintrat, und wies sie im Übrigen ab. C. X._ erhebt am 13. September 2013 Beschwerde beim Bundesgericht mit den Anträgen, das angefochtene Urteil aufzuheben und festzustellen, dass er für die Steuerperioden 1. Quartal 2004 bis 4. Quartal 2008 keine Mehrwertsteuer schulde, und ihn demgemäss aus dem Register der Mehrwertsteuerpflichtigen zu streichen. Ferner ersucht er um Gewährung der unentgeltlichen Prozessführung mit seinem Rechtsvertreter als unentgeltlichen Rechtsbeistand. Das Bundesverwaltungsgericht verzichtet auf eine Vernehmlassung. Die ESTV schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. 