Как открыть вкладку в фаерфокс?
Функцию window.open() нельзя использовать асинхронно, иначе возможен блок, как у вас.

Наилучший вариант, это прописать вызов окна внутрь кнопки, тогда блока не будет:
<button onclick="new_window = window.open('./step');">Кликни меня</button>
Далее, уже после того, как отработает ваш AJAX-скрипт вы можете тупо перезаписать содержимое нового окна:
new_window.document.write('Тест, проверка!');
new_window.document.close();
Или переадресовать его, куда вам там надо.
new_window.document.location.href = '/tuda_kuda_nado';
Никак, это указывается в настройках браузера. Просто не используйте всплывающие окна, это не самая лучшая практика.