Как задать глобальное динамическое имя переменной?
Словарь.
вообще то кусок кода из вопроса полностью валиден и строчка
globals()[VariableName] = VariableValue
действительно создаёт глобальную переменную -- если у вас не работает, то вы не там ищете.

Но, присоединюсь к Сергею: лучше создайте глобальный словарь и складывайте в него.

ozonBrowsers = dict()
@dp.message_handler(lambda message: message.text == "Авторизоваться")
async def login(message: types.Message):
  user_id = message.from_user
  ozon_user = 'ozon_user_{0}'.format(user_id['id'])
  ozonBrowsers[ozon_user ] = browser.OzonBrowser(user_id['id'])
  markup = types.ReplyKeyboardRemove()
  await Form.login.set()
  await message.reply("Укажи логин для входа начиная 9", reply_markup=markup)