Как и чем можно реализовать GUI приложения в качестве графической оболочки Linux?
Не слишком понятно - хотите написать свое приложение с гуем или же хотите запускать существующее приложение при старте?
Если первое - существует вагон и еще тележечка тулкитов - правда большинство из них старые и страшные.
- Стандартный X Toolkit
- Tk
- Motif
...и что-то там еще было. Ну, qt разумеется, но qt - это не про экономию ресурсов :)
Если второе - запускать программу вместоWM Там возможно с ключами запуска придется пошаманить, чтобы сразу растянуть на полный экран - ведь кнопок управления не будет!
Как запускать? Через .xinitrc, если Х стартует с DM или через startx - если вручную.
Если вам программа ровно одна - то ее и запускать при старте. Никаких лишних оболочек не нужно.
Если нужна легковесная оболочка - см. Awesome Windows Manager, OpenBox Window Manager. И просто используй их. Загляни внуть исходников и забудь про то, чтобы забыть как страшный сон свою идею про "написать оболочку самому". Или не забудь.
В качестве примера легковесного дистрибутива см. исходники BunsenLabs Linux. Существенно легче, чем он у вас вообще не получится сделать универсальный дистрибутив. 
Только узкоспециализированный. Но это см. первые два предложения в моем тексте.