Как подключить ADSL телефон с RJ-11 к роутеру через Ethernet RJ-45?
 имеет только разъём RJ-11 для ADSL/DSL
это обычный 'телефонный' разъем, он не имеет ничего общего с adsl/dsl (в том смысле что сам телефон аналоговый по своей сути)

Можно ли как-то подключить телефон через RJ-45?

лучше оперировать стандартами связи, а не типами разъемов. в данном случае разъем RJ-45 у роутера это ethernet и такой телефон к нему напрямую подключить нельзя. вероятно проще будет или купить sip-адаптер или voip телефон
НО вам лучше проконсультироваться с провайдером, потому что и купленный телефон или конвертер которые вы купите по советам в интернете, могут запросто не заработать с оборудованием вашего провайдера
Учитывая что к вам приходит оптоволокно, то все не так просто - оставьте все как есть, а свой роутер последовательно уже установленному оборудованию.

И телефон будет работать и своим роутером будете свободно рулить.