Как запретить переходить на сайт по IP?
Сделать default config, которым приводить на страницу "Вы заблудились" :)
Убрать listen *:80, слушать только правильный severName.
Примеры: https://httpd.apache.org/docs/2.4/vhosts/examples.html