Как количество файлов влияет на работу сервера?
само по себе кол-во файлов (даже в одной директории) никак не влияет на производительность.
а вот, например, при получении листинга такой директории или ее бекапе буду возникать тормоза.
Если коротко, то влияет. Насколько будет заметно вам никто не скажет, много условий.
База данных тоже состоит из файлов.