Нет файла webpack.config.dev.js и webpack.config.prod.js?
Могу предположить, это нужно для настройки css модулей, дак вот, в новой версии create react не нужно ковыряться в конфиге вебпака, для настройки css модулей, достаточно в названии css файла добавить module ( style.module.css ).
В актуальной версии create-react-app генерируется webpack.config.js и webpackDevServer.config.js.