Как установить лимит на размер проверяемых файлов для grep?
Запускайте через find - findoм можно сделать фильтр и на прошедшие фильтр файлы запускать grep.
Сделайте команду grep алиасом на скрипт, который перед выполнением проверяет размер файла и только потом собственно грепает, либо выдаёт ошибку etc. С другой стороны, это можно элементарно обойти, заюзав конструкцию cat filename | grep и т. п.
Вам для каких целей, вообще?