Какие библиотеки использовать для работы с группой файлов Python?
Для работы с группой файлов последнее время использую https://docs.python.org/3/library/pathlib.html
Для вытаскивания информации из html рекомендую - lxml.de
Вот статья на тему - https://habrahabr.ru/post/220125/ (pandas скорее всего вам не понадобится)
Если есть вопросы - задавайте.
os.walk и open