Sachverhalt: A. Der 1970 geborene türkische Staatsangehörige B._ reiste am 12. November 2002 in die Schweiz ein und stellte am 20. November 2002 ein Asylgesuch; in der Folge wurde er als Flüchtling anerkannt. Im Mai 2005 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 2. April 2008 sprach ihm die IV-Stelle des Kantons Aargau eine ganze ausserordentliche Invalidenrente ab 1. November 2007 bei einem Invaliditätsgrad von 100 % zu. Nach Durchführung des Vorbescheidverfahrens zog die zwischenzeitlich zuständig gewordene IV-Stelle des Kantons Zürich die Verfügung vom 2. April 2008 in Wiedererwägung und hob die Rente rückwirkend ab 1. November 2007 auf; zudem verneinte sie - wie dies bereits in der Verfügung vom 2. April 2008 gemacht wurde - einen Anspruch auf eine ordentliche Invalidenrente (Verfügung vom 27. Dezember 2011). B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 5. August 2013 ab. C. B._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen, der Entscheid vom 5. August 2013 sei aufzuheben und das Verfahren sei an die IV-Stelle zurückzuweisen, damit sie ergänzende medizinische Abklärungen vornehme. Ferner lässt er um unentgeltliche Rechtspflege ersuchen. Die IV-Stelle und das Bundesamt für Sozialversicherungen verzichten auf eine Stellungnahme. 