Удалось решить проблему. Возможно, это достойно места в Wiki.

Для того, чтобы файлы открывались в существующем экземпляре BlackBox, необходимо запускать их следующей командой:
BlackBox.exe /o "имя_файла"

Именно такую команду инсталлятор BlackBox прописывает в реестре в ветке HKEY_LOCAL_MACHINE\SOFTWARE\Classes\odcfile\shell\open\command

Если из команды удалить "/o", то файл будет открыт в новом экземпляре BlackBox.

Оказалось, что я в какой-то момент после переустановки Windows воспользовался стандартным диалогом выбора программы "Открыть с помощью" и поставил там галочку "Использовать ее для всех файлов такого типа". При этом была автоматически создана запись в следующей ветви реестра: HKEY_CURRENT_USER\Software\Classes\Applications\BlackBox.exe
Здесь команда для открытия odc-файлов не содержала ключа "/o".

После обнаружения проблемы я попробовал запустил инсталлятор, и он создал нужные ключи в HKEY_LOCAL_MACHINE, но, как выяснилось, запись в HKEY_CURRENT_USER имеет приоритет.