Records show that rumors abounded throughout the Edo period regarding Harunaga having an adulterous affair with Yodo-dono, and some accounts maintain that Hideyori was not a biological child of Hideyoshi, but of Harunaga and Yodo-dono.
江戸時代を通じて、治長は淀殿と密通していたと噂されていた記録が残り、秀頼は秀吉の実子ではなく治長と淀殿の子であるとする説があった。