Любопытен "заголовок" трапа:
undefined real result  (B9A3, 37E)
Такое впечатление, что в операции 7FFFFFFF80000000H MOD 100000000L как-то используется плавающая арифметика.
Обратите внимание на "экспоненту" числа 7FFFFFFF80000000H.