Как ускорить процес проверки и записи в базу?
1. Использовать INSERT IGNORE - в таком случае при вставке будут игнорироваться ошибки (в т. ч. совпадения значения уникального поля) и таки строки не будут записаны в БД
2. В одном INSERT делать вставку нескольких записей.
Делайте один SELECT .. WHERE `link` IN (val1, ..., val44).
А в цикле уже этот результат перебирайте.
Вставку новых делайте одним запросом.
INSERT IGNORE или INSERT ... ON DUPLICATE лишним при этом не будут.
Это самый быстрый вариант, у вас будет всего 2 запроса к БД - один на выборку, один на вставку.