Sachverhalt: A. Der 1951 geborene K._ war seit 1973 als Primarlehrer in X._ angestellt. Am 17. Mai 2010 meldete er sich bei der Invalidenversicherung für berufliche Integration/Rente an und erklärte, an Erschöpfungszuständen mit Tinnitus sowie an Konzentrations- und Wortfindungsstörungen zu leiden. Gestützt auf die beigezogenen psychiatrischen Berichte und weitere Unterlagen sprach die IV-Stelle Zug K._ mit Verfügung vom 27. Juni 2011 für die Zeit vom 1. November 2010 bis 31. Januar 2011 bei einem Invaliditätsgrad von 50 % eine halbe Invalidenrente zu. Auf Beschwerde des Versicherten hin und nach Eingang eines Obergutachtens des Psychiaters Dr. med. I._, vom 18. August 2011 anerkannte die IV-Stelle den Anspruch von K._ auf eine unbefristete halbe Invalidenrente ab 1. November 2010, hob die angefochtene Verfügung am 27. Oktober 2011 pendente lite auf und erliess am 10. April 2012 eine entsprechende neue Verfügung. Das Verwaltungsgericht des Kantons Zug schrieb das Verfahren mit Verfügung vom 31. Oktober 2011 zufolge Gegenstandslosigkeit als erledigt vom Geschäftsverzeichnis ab. B. Gegen die Verfügung vom 10. April 2012 liess der Kanton Zürich, vertreten durch die Finanzdirektion, diese vertreten durch die BVK Personalvorsorge des Kantons Zürich, Beschwerde einreichen. Er stellte den Antrag, unter Aufhebung der angefochtenen Verfügung sei festzustellen, dass K._ keinen Anspruch auf eine Rente der Invalidenversicherung hat. Mit Entscheid vom 27. Juni 2013 hiess das Verwaltungsgericht des Kantons Zug die Beschwerde gut und hob die angefochtene Verfügung vom 10. April 2010 auf mit der Feststellung, dass der Versicherte keinen Anspruch auf eine Invalidenrente habe. C. K._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Rechtsbegehren, unter Aufhebung des vorinstanzlichen Entscheids sei ihm eine unbefristete halbe Invalidenrente zuzusprechen; eventuell sei die Sache zu weiteren Abklärungen an das kantonale Gericht zurückzuweisen; subeventuell sei ihm eine befristete Invalidenrente von mindestens 50 % zuzusprechen. Die IV-Stelle schliesst auf Gutheissung der Beschwerde, soweit damit Leistungen geltend gemacht würden, die mit der Verfügung vom 10. April 2012 übereinstimmen. Der als Mitbeteiligter zur Vernehmlassung eingeladene Kanton Zürich beantragt, die Beschwerde sei abzuweisen. Das Bundesamt für Sozialversicherungen verzichtet auf eine Stellungnahme. 