Sachverhalt: Sachverhalt: A. B._ (Klägerin) und A._ (Beklagter) lebten von 1980 bis anfangs 1995 im Konkubinat. Bis 1986 führte die Klägerin ein Restaurant. Der Beklagte betreibt seit 1982, zu Beginn zusammen mit einem Geschäftspartner, eine Aktiengesellschaft, die sich mit dem Handel von Motorfahrzeugen beschäftigt. Ab 1986 arbeitete auch die Klägerin in dieser Aktiengesellschaft. Nach Auflösung des Konkubinats verlangte die Klägerin eine Aufteilung der vorhandenen Vermögenswerte nach den Regeln der Liquidation einer einfachen Gesellschaft. Sie ging davon aus, unter den Parteien habe eine Innengesellschaft (stille Gesellschaft) bestanden, und klagte am 1. September 1995 vor Bezirksgericht Zürich auf deren Auflösung rückwirkend per 31. Dezember 1994, eventuell auf einen anderen frühestmöglichen Zeitpunkt, sowie auf Zuweisung des hälftigen Liquidationsanteils, den sie einstweilen auf Fr. 861'789.-- bezifferte. Der Beklagte widersetzte sich der Klage und forderte widerklageweise die Rückzahlung rechtswidriger Barbezüge im Betrag von Fr. 155'000.-- nebst Zins, welche die Klägerin am 15. März 1995 aufgrund einer Bankvollmacht von auf den Beklagten lautenden Konten getätigt hatte. A. B._ (Klägerin) und A._ (Beklagter) lebten von 1980 bis anfangs 1995 im Konkubinat. Bis 1986 führte die Klägerin ein Restaurant. Der Beklagte betreibt seit 1982, zu Beginn zusammen mit einem Geschäftspartner, eine Aktiengesellschaft, die sich mit dem Handel von Motorfahrzeugen beschäftigt. Ab 1986 arbeitete auch die Klägerin in dieser Aktiengesellschaft. Nach Auflösung des Konkubinats verlangte die Klägerin eine Aufteilung der vorhandenen Vermögenswerte nach den Regeln der Liquidation einer einfachen Gesellschaft. Sie ging davon aus, unter den Parteien habe eine Innengesellschaft (stille Gesellschaft) bestanden, und klagte am 1. September 1995 vor Bezirksgericht Zürich auf deren Auflösung rückwirkend per 31. Dezember 1994, eventuell auf einen anderen frühestmöglichen Zeitpunkt, sowie auf Zuweisung des hälftigen Liquidationsanteils, den sie einstweilen auf Fr. 861'789.-- bezifferte. Der Beklagte widersetzte sich der Klage und forderte widerklageweise die Rückzahlung rechtswidriger Barbezüge im Betrag von Fr. 155'000.-- nebst Zins, welche die Klägerin am 15. März 1995 aufgrund einer Bankvollmacht von auf den Beklagten lautenden Konten getätigt hatte. B. Mit Urteil vom 30. April 1999 erklärte das Bezirksgericht die einfache Gesellschaft rückwirkend per 28. März 1995 für aufgelöst und hiess die Forderungsklage im Betrag von Fr. 713'474.50 sowie die Widerklage vollumfänglich gut. Gegen dieses Urteil ergriffen die Parteien kantonale Rechtsmittel. Nachdem das Kassationsgericht des Kantons Zürich am 22. Januar 2001 einen ersten Beschluss des Obergerichts des Kantons Zürich aufgehoben hatte, wies dieses die Sache mit Beschluss vom 16. Mai 2001 an das Bezirksgericht zurück, während das Bundesgericht auf eine gegen diesen Zwischenentscheid erhobene Berufung nicht eintrat (Urteil des Bundesgerichts 4C.209/2001 vom 9. November 2001). B. Mit Urteil vom 30. April 1999 erklärte das Bezirksgericht die einfache Gesellschaft rückwirkend per 28. März 1995 für aufgelöst und hiess die Forderungsklage im Betrag von Fr. 713'474.50 sowie die Widerklage vollumfänglich gut. Gegen dieses Urteil ergriffen die Parteien kantonale Rechtsmittel. Nachdem das Kassationsgericht des Kantons Zürich am 22. Januar 2001 einen ersten Beschluss des Obergerichts des Kantons Zürich aufgehoben hatte, wies dieses die Sache mit Beschluss vom 16. Mai 2001 an das Bezirksgericht zurück, während das Bundesgericht auf eine gegen diesen Zwischenentscheid erhobene Berufung nicht eintrat (Urteil des Bundesgerichts 4C.209/2001 vom 9. November 2001). C. Das Bezirksgericht fällte nach Ergänzung des Beweisverfahrens am 22. März 2005 erneut ein Urteil. Dieses fochten die Parteien wiederum mit kantonaler Berufung an, worauf das Obergericht am 17. März 2006 im Wesentlichen auf die Hauptklage, soweit sie Fr. 695'720.45 überschritt, nicht eintrat, sie im Umfang von Fr. 662'913.60 nebst Zins guthiess und die Widerklage abwies. Gegen dieses Urteil erhoben beide Parteien wiederum Nichtigkeitsbeschwerde an das Kassationsgericht, während der Beklagte zusätzlich eidgenössische Berufung einlegte. Das Kassationsgericht hiess die Beschwerde der Klägerin am 13. Dezember 2006 betreffend die Kostenverteilung im kantonalen Verfahren teilweise gut und wies das Verfahren diesbezüglich an das Obergericht zurück. Im Übrigen wies es sowohl die Nichtigkeitsbeschwerde des Beklagten als auch jene der Klägerin ab. In der Berufung beantragt der Beklagte dem Bundesgericht, die Hauptklage abzuweisen und die Widerklage gutzuheissen. Die Klägerin schliesst auf Abweisung der Berufung und erhebt Anschlussberufung mit dem Begehren, den Beklagten, für den Fall, dass die Widerklage gutgeheissen würde, zur Zahlung von Fr. 695'720.45 nebst Zins zu verpflichten. Der Beklagte beantragt, auf die Anschlussberufung nicht einzutreten. 