Нужно разобраться с тем что такое DASH (mpeg-dash) и как его юзать?
DASH работает поверх HTTP, а не RTMP, rtmp в конфиге nginx - настройки модуля nginx-rtmp-module. Для статического контента rtmp-модуль не нужен (сам DASH построен на том, что все фрагменты должны быть доступны как обычные файлы).
Соответственно от вашего конфига нужна только вторая часть.mp4box -dash XXXX -rap -profile "dashavc264:onDemand" - для статики, "dashavc264:live" - для стримов.
И ещё нужно натравить проигрыватель на всю эту радость.
Раз уж добрались до моего ответа по предыдущему вопросу про DASH, могли прочитать спеку - там есть краткое описание того, как всё устроено.
А почему nginx-rtmp-module, а не nginx-vod-module? Если не нужен rtmp, то лучше использовать nginx-vod-module. Тут и drm можно прикрутить.