Какие материалы или информацию можно изучить, чтобы решить эту задачу?
Что-то я понять не могу.  "не разбираюсь в теме машинного обучения и подобного. Никогда не работала с этой темой" А откуда тогда могла взяться задача, которую вам НАДО (??) решить? Я вот тоже не разбираюсь абсолютно в химии, но понимаю, что для того, что-бы решать задачи  -  надо взять учебник и учить-учить-учить... и только потом браться за задачи.   Причем, если задача не совсем тривиально-школьная, то вот "именно для нее" что-то изучать бессмысленно, надо наработать некоторую общую базу, а уж потом копать в нужную сторону.  Или вы считаете, что машинное обучение - это настолько тривиально, что тут все по другому?  И достаточно просто что-то "глянуть"? Очень "самоуверенно" (мягко говоря). 

А по существу вопроса -  ну начните отсюда:
https://ru.wikipedia.org/wiki/Машинное_обучение
там и перечень литературы имеется. 
или отсюда
https://ru.stackoverflow.com/questions/Книги-и-уче...
или отсюда:
https://ai-news.ru/2018/10/podborka_resursov_po_ma...

А далее  -  по ссылкам.  После примерно полугода-года упорного труда можно и к решению предложенной задачи приступать.
согласен с ответом что вам ИИ не нужен. вас не просят распознать текст, вам надо определить  относится ли пексел к фону или тексту. если бы тест представлялся точным значением цвета то все элементарно. практически граница текста и фона будут размыты. те вы сможете с определнной вероятностью определить относится ли пиксел к тексту. для это вплоне годится цифровая фильтрация, в простейшем случае фильтр ких.  он может быть обучаемым, те с подстройкой параметров. годится также разложение по уолшу и хаару, вейвлеты. если уж нейронные сети то попробуйте сверточные. вообще задача поставлена не корректно.