Від Коврицьких у 1818 році Сураж перейшов до Германа Раковського, так як він протягом багатьох років не виплачував у державну казну державного мита, то всі Суразькі помістя, приблизно у 1828 році, були конфісковані та віддані до Міністерства державної власності. До будівництва єзуїтами в середині XVIII ст. теперішньої Різдвяно-Богородицької церкви і на початку їх перебування в Суражі, існував православний дерев’яний храм Архістратига Михайла (до 1721 року). У складі Російської імперії