There is a temple with the same name, Konjo-ji, next to Inoue's birthplace, making it highly possible that his burial ground is this demolished temple.
井上生家の隣にも欣浄寺という全く同じ名称の寺が存在するため、埋葬場所はこの廃寺であった可能性が高い。