Since she refused to forsake her faith in Christianity and showed reluctance to become an officially-acknowledged concubine of Ieyasu's, she was ousted from Sunpu-jo Castle for violation of the Ban on Christianity, and was exiled first to Izu-oshima Island in 1612, then to Hachijo-jima Island or Nii-jima Island, and finally to Kozu-shima Island.
しかし、キリシタン棄教の要求を拒否した上、家康の正式な側室への抜擢に難色を示したため、慶長17年（1612年）に禁教令により駿府より追放され、まず伊豆大島に、ついで八丈島もしくは新島に、それから最後に神津島に流罪となった。