У Вас в формуле, описывающей идентификатор (к примеру), указывается набор допустимых символов для порождающей грамматики. То есть, с помощью формулы можно получить множество идентификаторов. Полное множество. Без лишних объектов, которые не являются идентификаторами.

Пробел в формулу не входит, значит при построении идентификатора использовать его нельзя. Значит, лексический анализатор, наткнувшись на пробел, будет знать, что этот символ не является частью текущей лексемы. Значит, текущая лексема закончилась.

P.S. Если формальные языки лишены смысла, то их использование и результат их использования тоже лишены смысла.