After Naomasa's death, there was a rumor among the local people that the ghost of Mitsunari was wandering around the castle town, and upon hearing this rumor Ieyasu ordered the disposal of everything related to Mitsunari, including Sawayama-jo Castle.
直政が死去した当初、地元の民衆達の間で三成の亡霊が城下を彷徨っているという噂が広まって、このことが家康の耳に入り、家康の命によって、佐和山城を始めとする三成に関係する物の全てを廃した。