In 1342, Yorito, the soryo (heir) of the Toki clan assaulted Emperor Kogon and was executed, so Yoriyasu took over the soryo position and became the Shugo of Mino Province.
康永元年（1342年）、土岐氏惣領の頼遠が光厳天皇に狼藉を働いたため処刑されると、惣領を継ぎ美濃国守護となった。