Насколько безопасно хранить конфиденциальную информацию на VPS?
Может ли хостер каким-то способом просмотреть эти самые файлы со своей стороны?Да, если задастся такой целью.

Насколько вообще конфиденциально такое хранение информации на удалённом сервере, и как можно его защитить именно от хостера?Нет!
Хостер в любом случае сможет получить доступ к вашим данным если захочет, даже если вы их зашифруете.

Единственный способ - конфиденциальные данные шифровать у себя, загружать на VPS в зашифрованном виде, на VPS их не расшифровывать и не работать с ними. Тогда хостер не сможет получить доступ к ним.
хостеру обычно лень

но и взлом делается не вручную, кто знает когда и куда боты достучатся