Как настроить безопасность системы для запуска подозрительных программ на виртуальной машине?
безопасно использовать подозрительные программы
Оксюморон. Безопасно крутить сальто, имея в кармане гранату без чеки - не получится.

Для форензики обычно берут изолированную виртуалку, делают снапшот до внесения изменений, обвешивают логировщиками, которые оные изменения записывают, пишут трафик, потом запускают программу и смотрят - что изменилось. Если программе нужен доступ в тырнет - обеспечивают его таким образом, чтобы работала она только с тырнетом.
Не все так просто
Как вариант: сервер на VPS без доступа в интернет(доступ через вирт консоль хостера) либо vpn+ssh, файлы по scp  + снапшоты до изменений как написал CityCat4. Изучать почти всё можно в youtube, развернуть можно в облаке - обычно новым клиентам дают тестовые доступы.