Sachverhalt: A. Der 1969 geborene S._ war vom 14. Januar 1991 bis 31. Januar 2005 als Anlagenführer bei der A._ AG angestellt. Von Januar 1998 bis Oktober 2005 war er zudem in einem Pensum von 3.5 Stunden im Tag als Reiniger für die B._ AG tätig. Am 18. März 2005 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Gestützt auf die getroffenen Abklärungen sprach die IV-Stelle des Kantons Zürich S._ vom 1. November 2004 bis 31. Januar 2005 eine Dreiviertelsrente bei einem Invaliditätsgrad von 66 % und ab 1. Februar 2005 bei einem Invaliditätsgrad von 100 % eine ganze Rente der Invalidenversicherung zu (Verfügungen vom 24. Mai 2006). Die vom zuständigen BVG-Versicherer eingereichte Einsprache wies sie mit Entscheid vom 27. September 2006 ab. Eine im Juli 2007 eingeleitete Rentenrevision ergab einen unveränderten Invaliditätsgrad (Mitteilung vom 30. August 2007). Am 20. Januar 2010 leitete die IV-Stelle eine neuerliche Rentenrevision ein. Sie holte einen medizinischen Bericht ein und veranlasste eine stationäre Abklärung des Versicherten in der Rehaklinik X._. Am 1. Februar 2011 erstattete die Klinik ein interdisziplinäres Gutachten. Mit Verfügung vom 6. Januar 2012 hob die IV-Stelle die Verfügungen vom 24. Mai 2006 und den Einspracheentscheid vom 27. September 2006 sowie die Mitteilung vom 30. August 2007 wiedererwägungsweise auf und stellte die bisher ausgerichtete Invalidenrente ein. B. Die von S._ eingereichte Beschwerde, mit welcher er zur Hauptsache die Aufhebung der Verfügung vom 6. Januar 2012 und die Weiterausrichtung der bisherigen ganzen Invalidenrente hatte beantragen lassen, wies das Sozialversicherungsgericht des Kantons Zürich ab (Entscheid vom 15. November 2013). C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt der Versicherte das vorinstanzlich gestellte Hauptbegehren erneuern; eventuell sei ihm eine Invalidenrente aufgrund eines tieferen Invaliditätsgrades zu gewähren; subeventuell sei die Sache zu neuer Beurteilung an das kantonale Gericht zurückzuweisen. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. 