Как создать exe файл?
WinRar работает иначе. Там берется статичный SFX-Stub (собственно основной статичный .exe идущий в комплекте архиватора,  который умеет читать конфиг в конце собственного файла и распаковывать архив идущий за конфигом) к которому "приклеивается" файл конфигурации (буквально дописывается к концу файла), который и содержит необходимые заголовки, пути и т.д., а к нему "приклеивается" rar архив.

C# имеет функцию компиляции исходного кода на лету.

Тут не совсем понятна задача, что и для чего вам это нужно.
WinRAR использует шаблон ехе. Один и тот же исполнительный файл. Добавляет к нему ресурсы и информацию, которую вы заполнили в "Мастере". 

Для решения вашей "задачи", достаточно одной программы, которая принимает аргументы запуска. Из аргументов берётся название кнопки. Готово. Так что, либо описывайте задачу подробнее, либо изучайте сами. Вопрос звучит достаточно глупо в контексте программирования.