Sachverhalt: A. Der 1961 geborene A._ beantragte im September 2000 erstmals Leistungen der Invalidenversicherung. Nach rechtskräftiger Abweisung dieses Gesuchs meldete er sich im Januar 2011 erneut zum Rentenbezug an. Die IV-Stelle des Kantons Zürich holte nebst weiteren Abklärungen ein polydisziplinäres medizinisches Gutachten des ärztlichen Abklärungsinstituts B._ vom 9. Januar 2012 ein. Mit Verfügung vom 13. April 2012 verneinte sie einen Rentenanspruch, da keine durchschnittliche Arbeitsunfähigkeit von 40 % während eines Jahres ausgewiesen sei. B. A._ erhob Beschwerde. Das Sozialversicherungsgericht des Kantons Zürich gewährte ihm die unentgeltliche Rechtspflege und wies die Beschwerde mit Entscheid vom 31. Dezember 2013 ab, soweit es darauf eintrat. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, der vorinstanzliche Entscheid sei aufzuheben und es seien die gesetzlichen Leistungen, insbesondere eine Rente, zuzusprechen. Weiter wird um Gewährung der unentgeltlichen Rechtspflege für das letztinstanzliche Verfahren ersucht. Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wird nicht durchgeführt. 