In 1580, Yoshitaka offered his castle to Hideyoshi saying, 'Himeji-jo Castle is the ideal place to govern Banshu' and moved to Kozan-jo Castle in Shikito county.
天正8年（1580年）、「姫路城は播州統治の適地である」として居城を秀吉に提供し、自身は飾東郡の国府山城に移った。