Почему регулярка быстрее indexOf?
Прежде всего нужно понять - действительно ли быстрее?
Есть замечательный доклад на эту тему: https://www.youtube.com/watch?v=HPFARivHJRY - очень рекомендую к просмотру.
На вскидку: 
- движок может выкидывать тот или иной кусок бенчмарка
- движок может реализовывать какой-либо кэш и считать один раз
P.s. в мозиле результаты другие: победил lodash, что иронично потому что у него под капотом indexOf
Регулярки медленнее и это даже бенчмарками проверять бесмысленно.
Это на уровне алгоритмов понятно.
Поиск в indexOf - это алгоритм простого перебора, цикл в цикле. В процессорах есть специальная низкоуровневая команда поиска вхождения подстроки. Это быстро.
Поиск в регулярках - это машина состояний, групп символов, масок, захвата подвыражений, с возможностями прямого и обратного поиска. Это прям целый зоопарк алгоритмов. Это медленно.
Скорость работы регулярных выражений заметны на бенчмарках с объёмными текстами. Ну там в HTML найти все гиперссылки. А UserAgent слишком короткая строка.