Что исполняет исполняемые файлы?
Смотря какие именно файлы, и какая операционная система. Потому что если мы говорим о супермарио в эмуляторе NES или о command.com в виндовс 95, или о ELF-файлах где-то в линуксе, то механизмы будут в чем-то отличатся.
Если вас интересует вся тема вообще, то действительно, начать можно с Таненбаума. Или искать подробности по конкретному типу файлов, которые вас заинтересовали.
не так естественно
операционная система знает формат исполняемого файла
при запуске операционная система проецирует файл в оперативную память (при помощи механизма обмена страниц) и передает в него управление