Although he remained in Kamakura after that, a plan by opponents of the Hojo clan, including Mitsutoki NAGOE and centered on Yoritsune, to ostracize the Shikken was uncovered and he was sent back to Kyoto in 1246.
その後も鎌倉に留まるが、名越光時ら反北条氏勢力による頼経を中心にした執権排斥の動きを察知され、寛元4年（1246年）に京都に送還される。