Стоит ли браться за изучение Vue.js с посредственными знаниями js?
Конечно! Будете говнокодером.
Знания ванильного js очень ценны. Однако понимание как структурировано подходить к написанию кода не дают.
Когда вы изучаете фреймворк вы изучаете ту самую структурированность в превую очередь.  Ради этого фреймворк и существует, чтобы ваш код не превратился в лапшу. 
Хотя при сильном желании можно и тут "накодить".

Пример со стройкой. 
JS это кирпичи, цемент, песок. Все из чего можно строить.
Vue \ React и другие. Это уже архитектура. План дома. Понимание того как из ваших строительных материалов (js) слепить что-то годное.

Мой вывод.
Учить стоит. Смотрите курсы. Много курсов, все что найдете. Читайте посты на эту тему. По ходу изучения вы уведите много разных фишек, как используется js. Тут то вы и начнете читать и изучать с больших интересом.
Но все равно параллельно, на фоне изучайте ванильный js. Облегчит жизнь.