After the Osaka no Eki (The Siege of Osaka) in 1615 in which the Toyotomi clan was downfallen, Toyokuni-jinja Shrine was destroyed and Kaneyori was exiled to Bungo Province, however, thanks to the arrangement of Tadaoki HOSOKAWA, he was exceptionally pardoned.
1615年（元和(日本)元年）大坂の役により豊臣氏が滅亡すると、豊国神社は破却され、兼従は豊後国に配流となったが、細川忠興の計らいにより特別に赦された。