In 1177, Tokimasa learned about the relationship and, fearing what important members of the Taira clan would think of it, ordered Masako to marry Kanetaka YAMAKI, the Izu Mokudai (Deputy Official).
治承元年（1177年）、頼朝と政子の関係を知った時政は平氏一門への聞こえを恐れ、政子を伊豆目代の山木兼隆と結婚させようとした。