Стоит ли разрабатывать third-person хоррор своей первой игрой на UE4?
Нет, конечно
Однозначно стоит попробовать, можно много опыта получить при разработке такого проекта (даже если не доживет до релиза)
-С какими трудностями чаще всего сталкиваются при разработке такой игры?
Как минимум можно указать level-design, свет, сюжет, звук и артовую составляющую. Если тут не получится синергии - атмосфера сразу рухнет. корявый геймплей и анимация тоже могут гвоздей в крышку назабивать (игра-то от третьего лица, а значит все действия персонажа будет хорошо видно). 
-Куда следует уделить чуть больше внимания, а на чем не стоит особо зацикливаться?
Я бы рекомендовал проработать стрельбу и анимацию, реакции противников на попадания и т.д., особенно если планируется дефицит патронов. Ощущение импакта хорошо дополнит атмосферу, а уж зональные повреждения и возможности а-ля Dead Space... 
Общий look&feel локаций, баланс, детали персонажа и point of interest желательно проработать детальнее
Если поигратся со светом - можно скрыть недостаток деталей в Non-playable area (Не нужно делать красивый левел-арт там, куда игрок не сможет попасть и где он его не увидит потому что туман/темно/неописуемая темень, опят-таки - хороший способо оптимизации). 
-Стоит ли добавлять мультиплеер? Не PvP, а PvE. Насколько сложнее будет разработка? Чтобы проще было отвечать -
представьте, что это кооперативное прохождение какой-либо карты двумя игроками.
Как минимум, в UE4 можно попробовать поиграться с репликацией. Быстро и вполне имет право на жизнь опробовать концепцию. Идея с ПВЕ-кооп - хороша, но если да - надо держать в уме это для левел-дизайна и баланса. Итоговый импакт на разработку будет состоять из "собрать и поглядеть"->"оптимизация". Если есть навыки и умения в оптимизацию сетевого кода игр, то почему бы и да? В противном случае - можно попробовать Split screen.
-Насколько сложно писать AI, если немного выйти за рамки простого брожения по корридорам? Скажем, добавить реакцию на звук и кратковременный пул памяти, на основе которого противник будет искать игрока в рамках определенной области?
Думаю, это можно собрать даже на BP, используя variables и Cast To.  (как минимум реакция на выстрел, попытки найти игрока за n время, и всякие перемещения/звуки). Плюс в том, что от зомби не ожидается сообразительности (в массе своей), а поэтому конструкции на основе инстинктов можно хватить с лихвой.