When Yoshitane ASHIKAGA was enthroned by Yoshioki OUCHI as the tenth shogun and entered Kyoto, Yoshiharu's father Yoshizumi fled from Kyoto to find shelter under Takayori ROKKAKU in Omi, and Yoshiharu was born as Yoshizumi's first son in Omi Kutsuki on March 5, 1511, while en route to Omi.
義晴の父・義澄は大内義興によって第10代将軍・足利義稙が擁立されて上洛してきた時、近江の六角高頼を頼って落ち延びていたが、その最中の永正8年（1511年）3月5日、義澄の長男として近江朽木で生まれた。