Что можно потерять отказавшись от компонентных фраймворков?
Bootstap нельзя использовать повсеместно.
Вот недавняя статья как раз на эту тему. Длинная телега про Бутстрап
но прежде, хочется узнать - что я при этом потеряю
возможность быстро набросать UI админки. В целом потеряете вы не сильно много, бутстрап хорош только при прототипировании или если реально лень делать UI самому. Много готового. Для админок самое то, и то приходится частенько что-то свое пилить.Что у меня не будет работать так, как работает у bs3?
все. У вас не тот же уровень знаний что у чуваков из твиттера который разрабатывали TB, у вас нет огромнейшего комьюнити которые делают регулярные баг репорты и пул реквестят ну и вы один и жизнь у вас одна. 
Если вам нужно сделать то что уже есть в бутстрапе - проще подключить стили этого конкретного компонента и не париться. Другое дело что весь бутстрап подключать для этого не надо.как правильно изменить стили bs3, чтобы было по моему
тут зависит от того что вы хотели сделать. У меня скажем нет особо проблем с тем, что бы переопределить стили, но некоторые вещи я сразу делаю с нуля а не пытаюсь извращаться со стилями бутстрапа. Вопрос баланса. Если вас не удовлетворяет компонент только чуть чуть - можно юзать компонент. Если переделка стилей на вскидку выходит нам в довольно большое количество времени - либо ищем что-то более подходящее либо вообще пишем сами. 
Зависит от задачи словом.