Сколько может стоить альтернатива обычному хостингу на AWS?
AWS это не хостинг, а IaaS платформа. Если у вас простенький сайтик на php + mysql то просто не надо туда лезть - проще и дешевле выйдет по тому как при сравнении одной и той же инфраструктуры для слабеньких проектов он очень и очень дорогой. 
С ноги туда ломиться не стоит - найдите хотя бы какие-то курсы или гайды о том как устроено облако и как оно оплачивается. Чтобы с облаками работать надо обладать не нулевыми познаниями в сетях и администрировании
Как минимум дороже хостинга на порядок