Sachverhalt: A. Die 1968 geborene O._ bezog auf der Grundlage einer Expertise der Medizinischen Abklärungsstelle (MEDAS) vom 18. August 2003 seit 1. August 2001 gemäss Verfügung der IV-Stelle des Kantons Zug vom 30. Januar 2004 bei einem Invaliditätsgrad von 50 % eine halbe Invalidenrente. Nach Durchführung einer Revision teilte die IV-Stelle O._ am 2. Mai 2007 mit, bei der Überprüfung des Invaliditätsgrades sei keine Änderung festgestellt worden, weshalb sie weiterhin Anspruch auf die bisherige halbe Invalidenrente habe. Im September 2009 meldete die Versicherte der IV-Stelle, sie habe am 1. September 2009 eine Arbeitsstelle als Mitarbeiterin im Reinigungsdienst X._ in einem 50 %-Pensum angetreten. Sie reichte den Arbeitsvertrag ein. Mit Mitteilung vom 19. Mai 2010 wurde der bisherige Anspruch auf eine halbe Invalidenrente erneut bestätigt. Im Zuge einer im Juni 2012 eingeleiteten Revision ermittelte die IV-Stelle zufolge Zunahme des Erwerbseinkommens einen Invaliditätsgrad von noch 44 %. Es bestehe daher nur noch Anspruch auf eine Viertelsrente. Dementsprechend setzte die IV-Stelle die bisher gewährte halbe Invalidenrente ab 1. August 2013 auf eine Vierteltsrente herab (Verfügung vom 20. Juni 2013). B. In Gutheissung der hiegegen eingereichten Beschwerde hob das Verwaltungsgericht des Kantons Zug die Verfügung vom 20. Juni 2013 auf mit der Feststellung, dass O._ weiterhin Anspruch auf eine halbe Invalidenrente habe (Entscheid vom 14. November 2013). C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt die IV-Stelle, der vorinstanzliche Entscheid sei aufzuheben; eventuell sei die Sache zu weiterer Abklärung und neuer Entscheidung an das kantonale Gericht zurückzuweisen. Während O._ auf Abweisung der Beschwerde schliessen lässt, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. 