Что такое ROM и зачем она нужна?
Не все программы и ос хранятся на hdd

Есть еще такая BIOS и вот она нужна для того, чтобы запустить все остальные.

Центральный процессор слишком просто устроен для того, чтобы общаться с hdd и читать с него файловую систему.

Поэтому с древних времен на материнские платы ставят специальный чип, который содержит эту BIOS и хранится она в ROM

Точнее, в древние времена хранилась. Потом стало достаточно дешево ставить туда ROM, которую можно стереть ультрафиолетом, потом EEPROM, которую можно перезаписывать электрически.
Все программы и ос храниться на hdd
У вас есть процессор, которому после инициализации при включении нужно передать некий набор конфигурации - скажем, - адрес порта, по которому сделать запрос диску, чтобы считать с него загрузочный сектор,  да и собственно загрузить саму микропрограмму, которая помогает понимать процессору протокол общения с диском, выставить тайминги для памяти, чтобы она заработала устойчиво, чтобы в нее можно было загрузить загрузчик, передать адреса подключенных периферийных устройств и передать параметры для общения с ними - адреса портов, тайминги и прочее... Только после этого процессор сможет взаимодействовать с HDD и прочей периферией. А вот набор этих параметров и микропрограммы протоколов - собственно и грузятся с ROM.