Как настроить удаленный рабочий стол Windows 2003 на работу одного приложения?
Для этих целей лучше использовать специальный софт, к примеру Citrix, но если хочется попроще, можно в свойствах файла с настройками RDP прописать путь до приложения, в таком случае оболочка загружаться не будет, но это не значит, что нельзя будет запустить браузер и т.п. 
Что можно будет, а что нельзя должно решаться на уровне груповых политик.
ЕМНИП на 2008R2 можно опубликовать на терминальном сервере отдельное приложение.