Почему сервер не дает подключаться к сайту в несколько потоков?
Если файл отдается средствами, ужос, php, то может блокироваться сессия. Попробуйте открыть вкладки в Инкогнито режиме, чтобы была новая сессия - если отработают без задержки, то это оно
Например может быть включён какой-то модуль реализующий ограничение количества соединений с одного адреса.
Для apache- stackoverflow.com/questions/450606/limit-number-of...
Для nginx - nginx.org/ru/docs/http/ngx_http_limit_conn_module....
Возможно даже средствами iptables