Sachverhalt: A. A.a. Z._, geboren 1967, erlitt am 26. Mai 2005 bei einer Auffahrkollision eine HWS-Distorsion. Am 3. April 2006 zog er sich bei einem Sturz Verletzungen am linken Handgelenk zu. Er meldete sich am 22. August 2006 bei der IV-Stelle Basel-Stadt zum Leistungsbezug an. Diese lehnte mit Verfügung vom 12. September 2007 einen Leistungsanspruch ab. Die hiegegen gerichtete Beschwerde hiess das Sozialversicherungsgericht des Kantons Basel-Stadt mit Entscheid vom 17. September 2008 teilweise gut. Es wies die Sache zur Aktenergänzung und Neuverfügung an die IV-Stelle zurück. A.b. Die IV-Stelle holte die Stellungnahme der Klinik X._ vom 6. Mai 2009 ein und verfügte gestützt darauf am 29. Oktober 2009 erneut die Abweisung des Rentenanspruchs. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Basel-Stadt mit Entscheid vom 10. Mai 2010 ab. A.c. In der Zwischenzeit hatte sich Z._ mit Gesuch vom 14. September 2009 nochmals zum Leistungsbezug angemeldet. Mit Vorbescheid vom 5. April 2011 stellte die IV-Stelle wiederum die Abweisung des Leistungsbegehrens in Aussicht. Aufgrund einer Stellungnahme des behandelnden Arztes Dr. med. G._, Facharzt für Psychiatrie und Psychotherapie FMH, vom 5. Mai 2011 liess die IV-Stelle Z._ durch das medizinische Abklärungsinstitut Y._ polydisziplinär untersuchen (Gutachten vom 25. Oktober 2011). Die Experten kamen zum Ergebnis, Z._ sei aus orthopädischer Sicht eine leidensangepasste Tätigkeit uneingeschränkt zumutbar; hingegen bestehe aus psychiatrischer Sicht eine vollständige Arbeitsunfähigkeit. A.d. Der Regionale Ärztliche Dienst (RAD) empfahl der IV-Stelle, ein weiteres psychiatrisches Gutachten einzuholen. Dieses erstattete Dr. med. A._, Spezialarzt für Psychiatrie und Psychotherapie FMH, am 20. August 2012. Er hielt darin fest, Z._ sei aus psychiatrischer Sicht zu 20 % in seiner Arbeitsfähigkeit eingeschränkt. Mit Vorbescheid vom 17. Januar 2013 und Verfügung vom 2. April 2013 verneinte die IV-Stelle abermals einen Rentenanspruch. B. Die Beschwerde des Z._ wies das Sozialversicherungsgericht des Kantons Basel-Stadt mit Entscheid vom 25. September 2013 ab. C. Z._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen. Er beantragt, die IV-Stelle sei zu verpflichten, ihm ab März 2010 eine ganze Invalidenrente auszurichten. Eventualiter sei die Sache an die IV-Stelle zurückzuweisen und diese zu verpflichten, nach Vornahme weiterer Abklärungen neu über den Rentenanspruch zu verfügen. Ferner ersucht er um Gewährung der unentgeltlichen Prozessführung und Verbeiständung. Die IV-Stelle beantragt Abweisung der Beschwerde. Vorinstanz und Bundesamt für Sozialversicherungen verzichten auf Vernehmlassung. 