Как сконфигурировать сеть так, чтобы сброс роутера не приводил к конфликту в сети?
В офис не ставятся роутеры от провайдера. 

Купите нормальные роутеры, настройте их как надо

Либо купите 1 нормальный роутер, например микротик, и начстройте обоих провайдеров на нём и прочее что надо

В общем и целом - 1 раз нормального сисадмина для настройки наймите)
Провайдер даёт услуги на своём порте. Доступ к Интернету. Телефония. 

А вот дальше потреблять эти услуги и регулировать их потребление ты должен самостоятельно. Так что по уму - оба роутера подключаются к своему роутеру (@Drno правильно предложил), который обеспечивает трансляцию этих сервисов в точки потребления.