Как поставить WinXP на комп с Win7?
xp mode  смотри на сайте ms
VirtualBox - бесплатный и достаточно простой в использовании менеджер виртуальных машин. В нем достаточно просто натыкать мышкой виртуалку, после чего так же легко её использовать и манипулировать ей. 
Хотя, возможно, вам стоит искать причины нестабильности работы программки, а не устанавливать отдельную систему для неё?