Нужно ли устанавливать видео драйвер?
Микрософт берет драйвера не откуда то с потолка. Вероятность bsod такая же как и у производителя устройства (в большинстве это один и тот же драйвер). 
Что касается критично ли иметь драйвер видеокарты на сервере, то конкретно я считаю что НЕТ. Исключением являются сервера с проф картами для рендеренга.
На 2003/2008 проблем с дефолтным видеодрайвером ни разу не наблюдалось. Скорее нагрузка увеличится (в целом на систему) от дополнительных дров.