На какой стороне может быть затык с максимальным количеством tcp соеденений?
Судя по ошибке, упираетесь в лимит открытых дескрипторов. Можно вручную поднять через ulimit. Как установить для вашей ОС на постоянку, зависит от вашей ОС
Для скрапинга использую aiohttp
Бежит на одной машине? Линукс?