Сложные ли задания для тестировщика?
Задачи из узкой предметной области - те соискатель должен иметь опыт в тестировании и решении университетских задач на графах, ЗКП и тп
Такие или не идут в тестирование или хотят денег
Тестирование софта, которое не дает всегда один и тот же результат, подходом черный ящик - головная боль
Подход к решению вашей проблемы:
Ищите соискателей по универам, в которых преподают ваш тип задач на нормальном уровне и учите их как писать тесты
Можете также обратиться к преподавателям напрямую и попросить их порекоммендовать вам 
Увеличивайте зп - для готовых спецов
Также вы ищете не тестировщиков, а QA - спеца с некоторым научным бекграундом
QA отличается от тестировщика тем, что он принимает решения на равне с ПМом и заказчиком
Лучше выложить задачи на гитхаб вместе с данными - так есть вероятность, что к вам обратиться разработчик с соответствующим бекграундом, который заинтересован в интересных задачах
Человек с опытом вряд ли будет решать эти задачи. Вы дожно быть Amazon и предлагаете релокейшн в Сиэтл, если хотите что бы человек разбирался в этих условиях.