Sachverhalt: A. A._ (Kläger und Beschwerdeführer) arbeitete vom 1. Juli 2004 bis zum 30. April 2009 für B._ (Beklagter und Beschwerdegegner) als Carchauffeur. Nach der Kündigung gelangte er mit Eingabe vom 12. Mai 2010 an das Kantonsgericht Zug. Er verlangte Fr. 5'000.-- Lohn, Fr. 104'303.-- für "Überzeitstunden" und Fr. 11'860.70 Ferienentschädigung, jeweils nebst Zins. Das Kantonsgericht erachtete die Ansprüche auf Lohn und Ferienentschädigung als ausgewiesen. Mit Urteil vom 23. Juli 2012 sprach es dem Kläger nach Abzug von begründeten Verrechnungsforderungen Fr. 6'010.70 nebst Zins zu. In diesen Punkten akzeptierten in der Folge beide Parteien das Urteil. Die Forderung für Überzeitentschädigung wies das Kantonsgericht ab, auferlegte sämtliche Kosten dem Kläger und sprach dem Beklagten eine Parteientschädigung zu. In diesen Punkten focht der Kläger das Urteil mit Berufung beim Obergericht des Kantons Zug an. Er hielt an seiner Forderung für Überzeitentschädigung fest und beanstandete die Regelung der Kosten- und Entschädigungsfolgen. Mit Urteil vom 3. September 2013 wies das Obergericht die Berufung ab und bestätigte das Urteil des Kantonsgerichts. B. Mit Beschwerde in Zivilsachen verlangt der Kläger die Fr. 104'303.-- nebst Zins neu auch unter dem Titel "Überstunden". Eventualiter sei deren Anzahl zu schätzen und subeventualiter die Sache an das Obergericht zurückzuweisen. Sodann sei dessen Entscheid bezüglich der Partei- und Verfahrenskosten entsprechend dem Ausgang des Beschwerdeverfahrens abzuändern und es seien die Verfahrens- und Parteikosten der vorinstanzlichen Verfahren entsprechend dem Ausgang dieses Beschwerdeverfahrens neu zu regeln. Da die jeweilige Gegenpartei keine Einwände erhob, gab das Bundesgericht sowohl dem Gesuch des Beschwerdeführers um aufschiebende Wirkung als auch demjenigen des Beschwerdegegners um Sicherstellung der Parteikosten statt. Dieser schliesst auf kostenfällige Abweisung der Beschwerde. Das Obergericht beantragt unter Hinweis auf den angefochtenen Entscheid, die Beschwerde abzuweisen. Der Beschwerdeführer bemerkt zur Beschwerdeantwort, deren wesentlich grösserem Umfang im Vergleich zur Beschwerdeschrift sei bei der Kostenverteilung Rechnung zu tragen und der als Anhang beigefügte Schlussvortrag des Beschwerdegegners nicht zu berücksichtigen. Dieser hat unter Hinweis auf die Beschwerdeantwort auf Gegenbemerkungen verzichtet. 