Что конкретно учить в js для web-разработки?
Здравствуйте. Если вы хотите стать фронт-енд разработчиком, то вам, действительно нужно изучать JS и весь современный стек технологий. Коллеги выше все написали.

С другой стороны, если ваша задача создавать сайты, то здесь применение JS вполне конкретным: создание слайдеров, табов / аккордеонов, поп-апов, сложных меню, параллакса / анимации при прокрутке и т.д. Причем выигрышной стратегией будет не писать каждое решение с нуля, а использовать готовые библиотеки (slick slider, bootsrap и т.д.). 

Если правильно понял суть вопроса, то для того чтобы сайт стал "больше чем обертка" нужно изучать современные CMS. В частности WordPress. Научившись интегрировать вашу верстку в WordPress вы получите сразу кучу бонусов:
- вместо html-страничек на выходе полноценный сайт
- удобный интерфейс для работы с контентом
- готовые решения для отзывов, сообщений, каталога товаров и т.д.
- понятно где / как / для чего применять JS

Что конкретно мне нужно понимать в js, а то может я перепутал и взялся не за то, что требовалось для моих задач?

1. Синтаксис js на уровне ES6. Тут и циклы, и условия и прочее.
2. Для фронтеда, бонусом к этому надо ещё изучить бразереое апи. В первую очередь - DOM
3. Для бэкенда - nodejs

Ну и в обоих случаях нужно понимать, как устроен HTTP