Стоит ли использовать webpack в каждом проекте?
Общая кодовая база, даже если не используете все возможности, то просто копируете предыдущий пак и настраиваете. Зачем что то делать 2-n раз?
Помимо webpack есть еще rollup и он просто без вариантов для сборки библиотек, так как выход - один модуль без оберток, ну и es-modules умеет
Ну и для небольших проектов очень хорош, особенно в связке с google closure compiler - бандлы получается очень компактными.
Webpack же в свою очередь имеет несколько больше возможностей, в частности для различного рода автоматизации, за счет своей очень мощной системы плагинов, позволяющей вмешаться практически в каждый шаг процесса сборки. Ну и с разделением на чанки у него по лучше будет.

В общем, для библиотек и маленьких проектов - rollup, для средних и больших проектов - webpack.
Совсем без бандлера можно разве что под нодой нормально жить. И хотя современные браузеры и электрон умеют в модули, но бандлер становится еще и вопросом производительности, как минимум выкидывая мертвый код (если конечно ему не мешать).