Sachverhalt: A. Der 1960 geborene, zuletzt als Bauarbeiter tätig gewesene A._ meldete sich am 14. Oktober 2002 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Basel-Landschaft lehnte den Anspruch auf eine Invalidenrente am 10. Februar 2005 verfügungsweise ab. Nachdem die IV-Stelle auf eine Neuanmeldung des Versicherten mit Verfügung vom 7. September 2006 nicht eingetreten war, gelangte A._ beschwerdeweise an das Kantonsgericht Basel-Landschaft, welches die Sache zur Durchführung des Einspracheverfahrens an die IV-Stelle zurückwies. Diese lehnte die Einsprache mit Entscheid vom 29. September 2008 ab. A._ liess wiederum Beschwerde einreichen. Das Kantonsgericht stellte in Würdigung des von der IV-Stelle beigezogenen Gutachtens der medizinischen Gutachterstelle B._ vom 19. Februar 2008 mit Entscheid vom 11. März 2009 fest, der psychische Gesundheitszustand sei ungenügend abgeklärt, weshalb es die Sache unter Aufhebung des Einspracheentscheides zu ergänzenden Abklärungen an die IV-Stelle zurückwies. Gestützt auf ein interdisziplinäres Gutachten der medizinischen Gutachterstelle C._ vom 17. April 2010, ergänzt mit Stellungnahme vom 15. November 2012 und eine Stellungnahme des Psychiaters Dr. med. D._, Regionaler Ärztlicher Dienst beider Basel (RAD), vom 3. Mai 2010 sowie die vom Versicherten eingereichte Stellungnahme des Psychiaters Dr. med. E._ vom 18. Februar 2011 lehnte die IV-Stelle den Anspruch des Versicherten auf eine Invalidenrente mit Verfügung vom 21. März 2013 wiederum ab. B. A._ liess Beschwerde führen mit den Anträgen, unter Aufhebung der angefochtenen Verfügung seien ihm die gesetzlichen Leistungen zu erbringen; ferner sei die IV-Stelle zu verpflichten, die Kosten für den Bericht des Psychiaters Dr. med. E._ vom 18. Februar 2011 im Betrag von Fr. 1223.- zu übernehmen. Mit Entscheid vom 19. Dezember 2013 wies das Kantonsgericht Basel-Landschaft die Beschwerde ab. C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, unter Aufhebung des vorinstanzlichen Entscheides sei ihm ab 1. Januar 2002 eine ganze Invalidenrente zuzusprechen; eventuell sei die Sache zu weiteren Abklärungen in medizinischer Hinsicht an das kantonale Gericht oder die Verwaltung zurückzuweisen. Ferner sei die IV-Stelle zu verpflichten, die Kosten für den Bericht des Dr. med. E._ vom 18. Februar 2011 über Fr. 1223.- zu übernehmen. 