Как смастерить внутренности небольшого портативного устройства?
Дисплей, кнопки и микросд можно прикрутить к arduino (atmega, attiny) или к esp, stm или к другому микроконтроллеру, в зависимости от задач. Микроконтроллеров много разных, они заметно отличаются по энергопотреблению, "мощи" железа и цене, и при выборе нужно бы понимать что вы вообще хотите сделать.
С зарядкой тоже все довольно просто, можно прикрутить что-то типа таких чипов
А вот со звуком все сложнее. Если "пищалку" можно сделать на любом хламе, то для воспроизведения качественного звука понадобятся и хороший ЦАП, и возможно процессор помощнее.
Лучше всего нанять/уговорить помочь кого-то, кто шарит в проектировании электроники. Если интересно именно самому - ищите схемы похожих устройств, идите на форумы электронщиков и начинайте задавать свои вопросы.
все зависит от вашей задачи.
Может вам нужен "микрокомпьютер" (а что это?)
Может вам достаточно недорогого планшета, который существенно дешевле и удобнее и лучше чем связка  Raspberry + дисплей и там уже есть " дисплей, 4 кнопки, динамик, разъем для наушников, съемный микросд"
Может вам не нужен экран, но требуется в реальном времени решать несколько задач и управлять сложной системой то вам нужен Raspberry или аналог. Опять же их очень много вариантов.
Если задача одна и не сложная, может вам достаточно платы STM32 или даже Arduino.
Опять же не понятно, если ваша "легковесная программа" уже существует то она написана под конкретную платформу и оборудование, а если программы нет, то не понятно кто ее будет создавать
Вероятность пайки в случае использования STM32/Arduino выше чем с Raspberry. Но можно обойтись и без пайки.
Короче. Опишите задачу, а там будет видно