Hideyoshi died in 1598 and the next year, 1599, Kozosu left Osaka-jo Castle with Kodaiin, moving to Sanbongi in Kyoto (near present-day Gion).
慶長3年（1598年）に秀吉が死去すると翌慶長4年（1599年）高台院と共に大坂城を退去、京の三本木（現在の祇園付近）に移る。