Sachverhalt: A. Der 1963 geborene, als selbstständiger Liegenschaftenverwalter tätige W._ meldete sich im März 2010 mit der Angabe, an wandelnden Schmerzen, Schwindel, Sehstörungen, Kraftlosigkeit und Müdigkeit zu leiden, bei der Invalidenversicherung zum Rentenbezug an. Die IV-Stelle des Kantons Zug holte einen Auszug aus dem individuellen Konto des Versicherten sowie Berichte der behandelnden Ärzte und des Regionalen Ärztlichen Dienstes (RAD) ein. Sodann stellte ihr der mit dem Fall befasste Krankentaggeldversicherer das von ihm eingeholte psychiatrische Gutachten des Dr. med. S._ vom 25. August 2010 zu. Mit Verfügung vom 9. Februar 2011 sprach die Verwaltung dem Versicherten aufgrund eines psychischen Leidens ab 1. September 2010 bei einem Invaliditätsgrad von 50 % eine bis 31. Oktober 2010 befristete halbe Invalidenrente zu. B. Beschwerdeweise beantragte W._, es sei auch nach dem 31. Oktober 2010 eine halbe Invalidenrente zuzusprechen. Das Verwaltungsgericht des Kantons Zug holte ein polydisziplinäres medizinisches Gutachten der MEDAS Zentralschweiz vom 27. März 2013 ein. In seiner Stellungnahme hiezu beantragte W._ neu, ihm sei auch nach dem 31. Oktober 2010 eine halbe Rente bis 31. Juli 2012 und eine Viertelsrente bis 31. Mai 2013 zuzusprechen. Das Verwaltungsgericht wies die Beschwerde mit Entscheid vom 14. November 2013 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt W._ beantragen, in Aufhebung des vorinstanzlichen Entscheids sei die IV-Stelle zu verpflichten, auch nach dem 31. Oktober 2010 eine halbe Rente bis 31. Juli 2012 und eine Viertelsrente bis 28. Februar 2011 (gemeint ist offensichtlich: 31. Mai 2013) auszurichten; eventuell sei die Sache zur weiteren Abklärung und Entscheidung an das kantonale Gericht zurückzuweisen. Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. 