Как создать свой дистрибутив linux для умного дома?
Тема умных домов конечно интересная, но железки с проприетарным софтом продавать тяжелее и тяжелее.  сейчас для этого нужно вбухивать миллионы в рекламу, чтобы пропиариться. просто пока вы делаете свою железку потом ось и тд, какой нибудь гугл выпустит свою платформу на андройде а китайцы наклепают железа/датчиков  wifi розеток/выключателей за 5$. в итоге ваши 2-3 года работы коту под хвост. это несомненно интересный опыт, но стоит ли оно того. 
железа и ОС сейчас и так дополна, я бы лучше сосредоточился на написание софта. сделать что-то типа majordomo нативно на андройд ОС например. хотя если у вас есть ресурсы можно и с ОС поразвлекаться, это хотя бы весело и круто.
Железо разное можно использовать, тут Ваши конкретные задачи должны быть. Можно Raspberry Pi3, можно и Arduino, а можно и данные с IoT девайсов на облако отправлять, там их и обрабатывать. Но я бы рекомендовал Raspberry. Хотя продаются готовые наборы для умного дома на базе Arduino.
Не думаю, что есть смысл создавать свою ОС для этого, достаточно будет тогоже Raspbian(по крайней мере для старта). 
Литературу читайте по Shell progrmming и С/С++.