Как узнать какой js-скрипт вызвал модальное окно?
Если это окно является dom-элементом (а не открывается через window.open), вы можете посмотреть, куда именно  оно вставляется и поставить точку останова на родительском элементе, которая будет срабатывать на изменения его поддерева.
В devtools хрома это делается на закладке Elements -> правый клик по нужному элементу -> Break on -> subtree modifications.
Дык искать в скриптах строку id или class вот того элемента, в который вписан этот модальник.