Без каких плагинов не может обойтись современная front-end разработка под gulp?
Есть решения?
50 милисекунд это не так уж много. Средний человек реагирует на событие после примерно 200 милисекунд. Так что либо вы привели не верные цифры, либо не знаю.
В целом вам нужно почитать в wiki галпа (или в его README) про инкрементную сборку и решения вроде gulp-cache и gulp-newer. Либо хранить все файлы в памяти и уменьшить количество чтений с диска, либо компилировать только измененные файлы. Ну и неплохо совместить эти два подхода).
Попробуйте webpack у него более человеческий подход к сборку проекта, либо используйте кастыли типа gulp-cache, gulp-remember,etc