Как сделать чтобы Webpack не конвертировал изображения в Base64 в определенной папке?
Кодирует не реакт, а сборщик проекта, по всей видимости webpack и его лоадеры. Смотреть нужно в этом направлении.
Задайте кастомный IMAGE_INLINE_SIZE_LIMIT через переменные окружения.

https://create-react-app.dev/docs/advanced-configu...

Если нужно конкретно для определеной папки, то найдите следующий блок, скопируйте его, и в верхнем укажите регулярку, которая удовлетворит папку с emoji.

// "url" loader works like "file" loader except that it embeds assets
            // smaller than specified limit in bytes as data URLs to avoid requests.
            // A missing `test` is equivalent to a match.
            {
              test: [/\.bmp$/, /\.gif$/, /\.jpe?g$/, /\.png$/],
              type: 'asset',
              parser: {
                dataUrlCondition: {
                  maxSize: imageInlineSizeLimit,
                },
              },
            },