С чего начать разработку одноплатного компьютера?
Я бы начал с изучения уже имеющихся вариантов (а их не один и не два, а как минимум, десяток), выявления их проблемных мест - с целью в своей версии не наступать на чужие грабли.
И да, сразу браться за Cortex-a7 - это смелый шаг. Лучше бы начать с чего попроще и понизкочастотней - с AVR, PIC16 или STM8.
Если начинать все с самого начало, то это:
Физики - Электродинамика и т.п.
Л.А. Бессонов - Теоретические основы электротехники.
В.П. Сигорский - Математический аппарат инженера.
Цифровая обработка сигналов и все что с этим связанно.
Численные методы.
Е. Угрюмов - Цифровая схемотехника.
Мартин Т.  Применение микроконтроллеров AVR: схемы алгоритмы программы.
Есть так же полезные сайты:
easyelectronics.ru/category/avr-uchebnyj-kurs/page/5