Sachverhalt: A. A.a. A._ (geb. 1976) und B._ (geb. 1983) heirateten am 27. Januar 2011 in Serbien. Danach zog B._ zu A._ in die Schweiz. Aus der Verbindung sind keine Kinder hervorgegangen. A.b. Mit Eingabe vom 15. Februar 2013 gelangte B._ an das Kantonsgericht Zug und ersuchte um Erlass von Eheschutzmassnahmen. Strittig blieb unter den Parteien der Unterhaltsbeitrag. A.c. In seiner Gesuchsantwort vom 28. März 2013 beantragte A._ insbesondere, auf das Eheschutzgesuch wegen Unzuständigkeit nicht einzutreten; eventualiter beantragte er, ihn zu Unterhaltszahlungen für höchstens zwei Monate im Maximalbetrag von Fr. 3'920.90 zu verpflichten. A.d. Am 15. Mai 2013 wies das Kantonsgericht die Arbeitgeberin von A._ an, von dessen Lohn ab sofort und für die weitere Dauer des Eheschutzverfahrens jeden Monat den Betrag von Fr. 3'920.90 in Abzug zu bringen und zuhanden von B._ auf ihr Konto bei der Bank C._ zu bezahlen. In Gutheissung der von A._ dagegen erhobenen Berufung wurde dieser Entscheid am 11. September 2013 vom Obergericht des Kantons Zug aufgehoben. Zur Begründung führte es unter anderem an, dass der entsprechende Geldbetrag zuerst vom Gericht festzusetzen sei, bevor die Anweisung verfügt werden könne. A.e. Am 7. bzw. 14. März 2014 teilten die Parteien dem Kantonsgericht mit, dass ihre Ehe mittlerweile durch das serbische Gericht rechtskräftig geschieden worden und B._ nach Serbien zurückgekehrt sei. A.f. Mit Endentscheid vom 4. April 2014 verpflichtete das Kantonsgericht A._ B._ für die Zeit vom 1. Januar 2013 bis Ende November 2013 monatliche Unterhaltsbeiträge von Fr. 5'190.60 zu bezahlen, wobei es A._ für berechtigt erklärte, die aufgrund der Schuldneranweisung vom 15. Mai 2013 an B._ überwiesenen Beträge davon abzuziehen. B. B.a. Hiergegen reichte A._ mit Eingabe vom 17. April 2014 beim Obergericht Berufung ein und stellte folgenden Antrag: "Der angefochtene Entscheid sei aufzuheben und es sei der Berufungsbeklagten ein hypothetisches Einkommen von Januar 2013 bis und mit November 2013 in der Höhe von maximal Fr. 5'000.-- anzurechnen." B.b. Mit Beschluss vom 7. Mai 2014 trat das Obergericht wegen ungenügender Anträge (fehlender Bezifferung) auf die Berufung nicht ein. C. A._ (Beschwerdeführer) gelangt mit Beschwerde in Zivilsachen vom 8. Juni 2014 an das Bundesgericht und beantragt, der Entscheid des Obergerichts vom 7. Mai 2014 sei aufzuheben und die Angelegenheit zur materiellen Beurteilung zurückzuweisen. Zudem beantragte er die Gewährung der aufschiebenden Wirkung. Während seitens des Obergerichts gegen das Gesuch um aufschiebende Wirkung nicht opponiert wurde, beantragt B._ (Beschwerdegegnerin) dessen Abweisung. Mit Präsidialverfügung vom 27. Juni 2014 wurde die aufschiebende Wirkung gewährt. In der Sache selbst wurden keine Vernehmlassungen eingeholt. 