Как использовать Vue-cli, но при этом сделать его многостраничным?
Плюс при билде проекта, мы получаем файлы, которые нельзя запустить без локального сервера?
Вебпак в vue-clie собирает вам javascript-бандл, а уж как вы его будете использовать это ваше дело. Это статичный файл, для их работы не нужен сервер. 
Дело в том, что вебпак собирает не только js, еще картинки, стили, которые он вытаскивает из js и прочих модулей,  и прописывает подключение их в расчете что html открывается с сервера. 
Вы можете собрать бандл, и подключить его на множестве html-страниц, главное чтобы Vue нашел на странице свой div#app или куда вы там его привяжете. 
Но, если честно, это довольно странная практика, проще делать SPA. 
Многостраничный сайт так же можно организовать с помощью Nuxt, который генерирует отдельные html-страницы на каждый page vue-компонент.
Ох. Вперёд читать документацию и разбираться, что же такое SPA.