Cтрого говоря, -1 и 255 в двоичном виде одно и то же. Если нужно учитывать знак, то спасёт приведение типов:
В Активном Обероне, например:
SIGNED8( (-1) MOD 256) = SIGNED8( -1 MOD 256 ) = -1

К тому же, как мне помнится, Excel тоже трактует остаток как положительное число, а VBA - как отрицательное.
То есть в Экселе MOD( -1, 256 ) = 255