Sachverhalt: A. Der 1966 geborene, verheiratete A._ meldete sich am 1. Juni 2008 bei der Invalidenversicherung zum Leistungsbezug an und ersuchte um Berufsberatung sowie Umschulung auf eine neue Tätigkeit. Die IV-Stelle traf umfangreiche Abklärungen in medizinischer und erwerblicher Hinsicht. Am 19. September 2011 beauftragte die IV-Stelle Luzern das Zentrum X._ mit der interdisziplinären Begutachtung von A._. Am 27. Juni 2012 erstattete das Zentrum X._ die Expertise. Mit Verfügung vom 27. Juli 2012 lehnte die IV-Stelle den Anspruch des Versicherten auf Leistungen der Invalidenversicherung ab. Diesem sei eine angepasste Tätigkeit in somatischer und psychischer Hinsicht in vollem Umfang möglich. B. Die von A._ hiegegen eingereichte Beschwerde, mit welcher er zur Hauptsache die Rückweisung der Sache zur Begründung der Verfügung an die IV-Stelle hatte beantragen lassen, wies das Kantonsgericht Luzern mit Entscheid vom 12. September 2013 ab. C. Der Versicherte lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Rechtsbegehren, unter Aufhebung des angefochtenen Entscheides sei die Sache zur Abklärung des medizinischen Sachverhalts und der Arbeitsunfähigkeit mittels eines interdisziplinären Gutachtens und zu neuer Entscheidung an die Vorinstanz zurückzuweisen. Sodann beantragt er, es sei ein zweiter Schriftenwechsel durchzuführen. Ferner ersucht er um die Bewilligung der unentgeltlichen Rechtspflege. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, soweit darauf einzutreten sei, verzichtet das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung. Am 13. Januar 2014 lässt A._ eine weitere Eingabe einreichen. 