Закончил свой первый проект на React+Redux, может ли кто-нибудь посмотреть и сказать над чем поработать?
first_section, second_section и так далее — не лучшие имена компонентов. Что за первый второй компонент? А если компоненты поменять местами, то логика сохранится?

Мне это кажется не удобным.

Почему? В чём будет разница между css и sass файлами? В конечном итоге это всё должно скомпилироваться в один единый код.

my-container — твой контейнер и твой. А почему твой и чем отличается это не ясно.

В общем предлагаю начать с именования. Тут много мест, где с этим можно поработать. Вот я посмотрел, будучи не в курсе, что за проект и ничего не понял из имён компонентов и классов
Компоненты с больших букв называют, и по поводу scss, структура примерно такая 
Папка components в ней большими буквами папка MyComponent внутри нее MyComponent.js и MyComponent.scss 
И внутри скриптового файла имаортируешь 
'. /MyComponent.scss'
Поэтому это нормально использовать препроцессор