Hokke-do Hall located in front of the stone pagoda was destroyed because of the anti-Buddhist movement at the beginning of the Meiji period, and in 1872, Shirahata-jinja Shrine was erected at the site to enshrine Yoritomo.
明治に入ると廃仏毀釈により石塔の前に在った法華堂は壊され、明治5年（1872年）、その跡に頼朝を祀る白旗神社が建てられた。