Стоит ли разбираться с Gulp.js, если я знаю пока что только HTML и CSS?
Ознакомится точно стоит. Gulp или Webpack. Для начала найдите уже готовую стандартную конфигурацию. Разберитесь с ней и используйте ее для верстки. Вам этого хватит с головой на очень долго:)
Можно было gulp еще до html и css изучить, если сильно хотелось