It is known that, although he went away to Sagami Province counting on Ujitsuna HOJO for help during this period, he was called back to act for Arisue TSUCHIMIKADO, who pulled back in his fief, Tango Province, in 1542 and did not carry out any jobs for Onmyo no kami, to carry out jobs of Onmyo no kami.
なお、この時期に北条氏綱を頼って相模国に下ったものの、天文11年（1542年）に所領の丹後国に退いて陰陽頭としての職務を行わない土御門有脩に代わって陰陽頭の職務を代行するために呼び戻されたことが知られている。