Можно ли отобразить html-страницу при запросе к доменному имени, привязанному к компьютеру?
Нет, невозможно. Что-то должно обработать запрос на 80-й порт.
Возможно сделать так, чтобы при незапущенном сервере по этому адресу отображалась html-страница, расположенная где-то на моем компьютере?
Нет. Чтобы клиент получил страницу, сервер должен её отдать. Для этого он должен слушать стандартный порт - ждать запрос на него.
Но. Можно поставить-выбрать-создать другой сервер, который будет весить в десятки или даже сотни раз меньше, чем монстр OpenServer, который представляет из себя комбайн для разработки на PHP + MySQL + ... , и вот эту "крошку" поставить на автостарт при старте системы, например.

Правда в этом случае при запуске OpenServer он выругается вам, что кто-то уже занял его порт.