> -- Comdiv писал(а):
> 1. Вы не обязаны в лексическом анализаторе поддерживать разные виды пробелов и т.п, можете выдавать сообщение, что символ недопустим.
Обязан. Человек -- это обезъяна с гранатой. А если ещё и цейтнот -- это обезьяна с атомной боеголовкой.


> -- Comdiv писал(а):
> 2. Для лексического анализа не важно однобайтная кодировка или такая многобайтная, как Utf-8, потому что анализатору не важно, сколько символов видит человек, ему важно идентичность используемых цепочек, что в нормализованном Utf-8 легко обеспечить, а больше и не нужно.
Ошибочное утверждение. Тип CHAR -- 8 бит. И для лексического анализа критически важно, сколько в символе байт. Правда, действительно, в независимости от того, сколько видит человек.
Нормализовать UTF-8 -- это дополнительный контракт по языку. Я не помню такого требования в описании языка.
Типизация текста вполне справляется с этой задачей.

Для меня фраза "Надёжность -- превыше всего" поднята на щит.