In April 1868, since the Edo bakufu (Japanese Feudal government headed by a shogun) surrendered Edo Castle and Ooku to the government army, Kazunomiya moved to the Tayasu family residence with Jitsujoin.
慶応4年（1868年）4月、江戸幕府は官軍に江戸城と大奥を明渡すことになり実成院とともに田安家屋敷へと移った。