Есть ли смысл вставлять статический контент в страницу?
Рекомендации в Google PageSpeed не дают полной картины. Это всего лишь рекомендации. 
Нет смысла выносить весь css прямо на страницу, достаточно объединить все файлы в один и подключить этот файл.
Я как-то проводил тест, вставлял все стили в html, в итоге Google PageSpeed значительно повышал оценку, но скорость загрузки сайта ничуть не поменялась, я не увидел никаких изменений.
Есть кейсы, где кеширование не нужно
Есть кейсы, где лучше несколько раз загрузить одно и тоже, но быстрее показать пользователю
Есть кейсы, где комбинируют несколько подходов