Sachverhalt: A. A.a. Am 20. Februar 2003 schlossen X._ (Kläger, Beschwerdeführer) als Verkäufer und Z._ als Käufer einen Kaufvertrag über die Aktien der damaligen X._ AG ab. Als Kaufpreis für sämtliche Aktien vereinbarten die Parteien aufgrund der Überschuldung der X._ AG den symbolischen Betrag von Fr. 20.--. Im Kaufvertrag wurde festgehalten, dass der Kläger gegenüber der X._ AG eine Kontokorrentforderung im Betrag von Fr. 1'502'764.-- habe, die per 31. Dezember 2002 aufgrund eines entsprechenden Forderungsverzichts des Klägers auf Fr. 648'241.-- reduziert wurde. Eine weitere Anpassung dieser Forderung wurde für den Fall vorbehalten, dass sich der Saldo der Debitoren, Kreditoren und angefangenen Arbeiten bis zum Vorliegen der revidierten Jahresrechnung 2002 verändern sollte. Insbesondere blieb die Verrechnung der Kontokorrentforderung mit einem den (provisorischen) Betrag von Fr. 2,15 Mio. übersteigenden Bilanzverlust gemäss revidiertem Jahresabschluss 2002 vorbehalten. Die Vertragsparteien einigten sich weiter darauf, dass das im Zusammenhang mit der Realisierung der Überbauung L._ von der M._ AG der X._ AG geschuldete Reuegeld im Betrag von Fr. 2,8 Mio. für die Rückzahlung des sogenannten Pool-Darlehens verwendet werden soll, das der X._ AG von verschiedenen Personen gewährt worden war. Schliesslich verpflichtete sich der Käufer, den Betriebskredit der X._ AG bei der Bank S._ dergestalt umzufinanzieren, dass diese die vom Kläger dafür geleisteten Sicherheiten freigibt. A.b. Im Mai 2003 erhielt die X._ AG den Revisionsbericht ihrer damaligen Revisionsstelle P._ AG für das Geschäftsjahr 2002, worin der Generalversammlung die Genehmigung der Jahresrechnung 2002 mit einem Bilanzverlust von Fr. 3'002'126.10 empfohlen wurde. Die X._ AG bemängelte mit Schreiben vom 22. Mai 2003 den Revisionsbericht und forderte bei der Revisionsstelle eine Neubeurteilung. Diese legte mit Schreiben vom 21. August 2003 ihr Mandat nieder. Ihre Nachfolgerin, die O._ AG, erstattete am 7. Januar 2004 einen weiteren Revisionsbericht für das Geschäftsjahr 2002, aus welchem sich ein Bilanzverlust von Fr. 4'940'146.-- ergab. A.c. Die X._ AG wurde am 14. November 2003 in Y._ AG (Beklagte, Beschwerdegegnerin) umfirmiert. A.d. Mit Schreiben vom 16. Februar 2004 an den Kläger genehmigte Z._ zwar den Kaufvertrag, machte jedoch unter Verweis auf die aus seiner Sicht unrichtig dargestellte Vermögenslage geltend, er werde weder eine neue Sicherheit für den Betriebskredit der Beklagten leisten noch irgendwelche Auszahlungen an den Kläger vornehmen. Dessen Kontokorrentforderung sei im Übrigen durch die Ausgleichung der Saldoänderungen bei den Debitoren, den Kreditoren und den angefangenen Arbeiten untergegangen und an deren Stelle sei eine Kontokorrentforderung der Beklagten in Höhe von Fr. 1'426'346.10 entstanden. B. B.a. Mit Klage vom 13. April 2007 beim Kantonsgericht Zug forderte der Kläger von der Beklagten Fr. 2 Mio. nebst Zins. Das Kantonsgericht holte bei H._, dipl. Wirtschaftsprüfer und Mitglied der Geschäftsleitung der W._, eine Buchhaltungsexpertise zum Bilanzfehlbetrag und zum Stand des Kontokorrentkredits des Klägers per 31. Dezember 2002 ein. Das Gutachten wurde am 14. Juli 2009 und ein Ergänzungsgutachten am 23. März 2010 erstattet. Mit Urteil vom 23. Januar 2012 wies das Kantonsgericht Zug die Klage ab, unter Kosten- und Entschädigungsfolge zu Lasten des Klägers. B.b. Gegen dieses Urteil erhob der Kläger Berufung beim Obergericht des Kantons Zug. Dieses wies die Berufung mit Urteil vom 3. September 2013 ab, soweit darauf eingetreten wurde, unter Kosten- und Entschädigungsfolge zu Lasten des Klägers. C. Mit Beschwerde in Zivilsachen beantragt der Kläger dem Bundesgericht, das Urteil des Obergerichts des Kantons Zug vom 3. September 2013 aufzuheben und seine Klage gutzuheissen. Eventualiter sei die Beschwerdegegnerin zu verpflichten, ihm die Kontokorrentforderung in der Höhe von Fr. 648'241.-- nebst Zins zu 5 % seit 24. Februar 2005 zu bezahlen. Subeventualiter sei das Verfahren an die Vorinstanz zurückzuweisen, damit diese neu entscheide; alles unter Kosten- und Entschädigungsfolgen für alle Instanzen zu Lasten der Beschwerdegegnerin. Die Beschwerdegegnerin und die Vorinstanz beantragen die Abweisung der Beschwerde. Der Beschwerdeführer hat unaufgefordert eine Replik, die Beschwerdegegnerin eine Duplik eingereicht. D. Mit Präsidialverfügung vom 18. November 2013 wurde der Beschwerde die aufschiebende Wirkung erteilt. 