Sachverhalt: Sachverhalt: A. Der Architekt A._ (Mitgesellschafter) und X._ (Beklagter), die sich zum "Baukonsortium B._" zusammengeschlossen hatten, beauftragten die Generalunternehmerin Y._ AG (Klägerin) in zwei Etappen die Überbauung "B._" an der Strasse C._ in D._ zu erstellen. Grundlage des Bauvorhabens bildeten zwei Generalunternehmerverträge vom 22. Juli 1986. Gemäss diesen Verträgen verpflichtete sich die Klägerin zur schlüsselfertigen Erstellung - der Mehrfamilienhäuser 1, 2A, 2B und 2C (erste Etappe) samt Tiefgarage zum festen Preis von Fr. 16'092'000.-- und - der Mehrfamilienhäuser 3, 4 und 5 (zweite Etappe) zum festen Preis von Fr. 11'262'000.--. Die Klägerin realisierte die Bauten in den Jahren 1986-1989 (erste Etappe) und 1989-1992 (zweite Etappe). Ausgeführt wurde ein gegenüber dem ursprünglichen Vorhaben mehrfach abgeändertes Projekt. Die erste Etappe rechnete die Klägerin am 29. Oktober 1990 zu Fr. 19'810'925.-- ab (Fr. 16'092'000.-- vertraglicher Werkpreis zuzüglich Fr. 4'068'925.-- Mehrkosten abzüglich pauschal Fr. 350'000.-- Minderkosten). Ihre Abrechnung vom 28. Oktober 1992 für die zweite Etappe ergab einen Werkpreis von Fr. 21'138'380.-- (Fr. 11'262'000.-- gemäss Vertrag zuzüglich Fr. 1'084'530.-- Teuerung und Fr. 8'791'850.-- Mehrkosten). Zwischen den Beteiligten kam es zu einem Streit über den geschuldeten Werkpreis. Offen blieb gemäss Kontoauszug der Klägerin vom 28. Oktober 1992 ein Betrag von insgesamt Fr. 5'407'305.-- (Fr. 18'925.-- aus der ersten und Fr. 5'388'380.-- aus der zweiten Etappe). Zwischen den Beteiligten kam es zu einem Streit über den geschuldeten Werkpreis. Offen blieb gemäss Kontoauszug der Klägerin vom 28. Oktober 1992 ein Betrag von insgesamt Fr. 5'407'305.-- (Fr. 18'925.-- aus der ersten und Fr. 5'388'380.-- aus der zweiten Etappe). B. B.a Am 15. April 1993 belangte die Klägerin den Beklagten, den Mitgesellschafter und E._ (gegen den die Klage später zurückgezogen wurde) beim Handelsgericht des Kantons St. Gallen auf Bezahlung von Fr. 5'407'305.-- nebst Zins. Der Handelsgerichtspräsident überwies die Sache an das zuständige Bezirksgericht St. Gallen. In der Folge schlossen die Parteien eine Prozessvereinbarung, wonach über die Streitfrage, ob für die zweite Bauetappe ein revidierter Pauschalpreis oder ein neuer Abrechnungsmodus vereinbart worden sei, ein Teilurteil gefällt werden solle. Das Bezirksgericht St. Gallen stellte am 9. Februar 1996 fest, dass sich die Parteien für die zweite Bauetappe auf einen revidierten Generalunternehmerpreis von Fr. 17'142'000.-- geeinigt haben, ausgehend von den im Nachtrag zum Generalunternehmervertrag vom 19. November 1991 festgelegten Grundlagen. Bei diesen Grundlagen handelte es sich gemäss Ziffer 1.2 des Nachtrags um die einzeln mit Titel, Plannummer und Datum aufgeführten Pläne des Architekten F._, den Baubeschrieb "datiert Juni 1991" und die Vorschriften sämtlicher für die Realisierung erforderlichen Bewilligungen der zuständigen Behörden und Ämter. Die von der Klägerin gegen das Teilurteil des Bezirksgerichts erhobenen Rechtsmittel wurden vom Kantonsgericht St. Gallen und daraufhin vom Kassationsgericht des Kantons St. Gallen abgewiesen. Daraufhin wurde das Verfahren vor dem Bezirksgericht St. Gallen fortgesetzt. An der Schlussverhandlung reduzierte die Klägerin die eingeklagte Forderung auf Fr. 2'323'632.--. Nach mehreren Beratungen wies das Bezirksgericht die Klage mit Entscheid vom 9. März 2000 ab. B.b Die Klägerin erhob gegen diesen Entscheid Berufung an das Kantonsgericht St. Gallen und beantragte, der Beklagte und der Mitgesellschafter seien solidarisch zu verpflichten, der Klägerin Fr. 2'226'982.-- nebst Zins zu bezahlen. Mit Entscheid vom 1. Juli 2004 schützte das Kantonsgericht die Klage im Betrag von Fr. 479'126.-- nebst Zins. Dabei beurteilte es u.a. eine Zessionsforderung des Beklagten und des Mitgesellschafters von Fr. 155'616.-- (Architektenhonorar F._) im Umfang von Fr. 77'170.-- als begründet und liess sie zur Verrechnung zu. In teilweiser Gutheissung der je vom Beklagten und vom Mitgesellschafter erhobenen Nichtigkeitsbeschwerden hob das Kassationsgericht am 27. April 2005 den Entscheid des Kantonsgerichts auf und wies die Streitsache zurück, "und zwar ausschliesslich zur fachkundigen Überprüfung der Höhe des von den Beklagten verrechnungsweise geltend gemachten, unter veränderten Umständen geschuldeten Architektenhonorars von F._". Der Beklagte hatte gegen den Entscheid des Kantonsgerichts vom 1. Juli 2004 auch eidgenössische Berufung eingelegt. Mit Blick auf die Aufhebung des angefochtenen Entscheids durch das Kassationsgericht schrieb das Bundesgericht die Berufung mit Beschluss vom 19. Juli 2005 als gegenstandslos ab. B.c Am 15. August/16. September 2005 vereinbarten die Parteien auf Vorschlag des Präsidenten der III. Zivilkammer des Kantonsgerichts, dass auf eine Expertise im Zusammenhang mit der Zessionsforderung "Architektenhonorar F._" verzichtet werde, die Forderung des Beklagten und des Mitgesellschafters im Umfang von Fr. 77'170.-- zur Verrechnung gestellt und von der Klägerin in diesem Umfang anerkannt werde. Damit wurde der Streit betreffend diese Forderung gegenstandslos. Im Übrigen fällte das Kantonsgericht am 20. November 2005 ein mit dem aufgehobenen Entscheid vom 1. Juli 2004 identisches Urteil und verwies zur Begründung auf die entsprechenden Erwägungen jenes Entscheids. B.c Am 15. August/16. September 2005 vereinbarten die Parteien auf Vorschlag des Präsidenten der III. Zivilkammer des Kantonsgerichts, dass auf eine Expertise im Zusammenhang mit der Zessionsforderung "Architektenhonorar F._" verzichtet werde, die Forderung des Beklagten und des Mitgesellschafters im Umfang von Fr. 77'170.-- zur Verrechnung gestellt und von der Klägerin in diesem Umfang anerkannt werde. Damit wurde der Streit betreffend diese Forderung gegenstandslos. Im Übrigen fällte das Kantonsgericht am 20. November 2005 ein mit dem aufgehobenen Entscheid vom 1. Juli 2004 identisches Urteil und verwies zur Begründung auf die entsprechenden Erwägungen jenes Entscheids. C. Der Beklagte beantragt mit eidgenössischer Berufung, das Urteil des Kantonsgerichts vom 20. November 2005 vollumfänglich aufzuheben und die Klage abzuweisen. Eventuell sei die Streitsache zur Neubeurteilung an das Kantonsgericht zurückzuweisen. Der Mitgesellschafter hat keine Berufung eingelegt. Die Klägerin beantragt, die Berufung abzuweisen, soweit darauf einzutreten sei. Die Klägerin beantragt, die Berufung abzuweisen, soweit darauf einzutreten sei. D. Am 11. Juli 2006 hiess das Kassationsgericht die Nichtigkeitsbeschwerden des Beklagten und des Mitgesellschafters gegen den Entscheid des Kantonsgerichts vom 20. November 2005 teilweise gut und verlegte die Parteikosten anders, in Aufhebung der diesbezüglichen Ziffern 4 und 5 des Entscheids des Kantonsgerichts. Im Übrigen wies es die Beschwerden ab. 