As a result of the deaths of his clan people, Kazumasa SOGO in 1561, Yoshitaka MIYOSHI in 1562 and Yoshitaka MIYOSHI in 1563, Nagayoshi began to suffer physical and mental illnesses and his powers of influence weakened significantly.
永禄4年（1561年）の十河一存、永禄5年（1562年）の三好義賢、永禄6年（1563年）の三好義興という相次ぐ一族の死により、長慶が心身に異常を来してからは勢力は大きく衰えた。