어휘 분석의 주된 역할은 원시 프로그램을 하나의 긴 스트링으로 보고 원시 프로그램을 문자 단위로 스캐닝 하여 문법적으로 의미 있는 일련의 문자들로 분할해 내는 것을 말한다. 이때 분할된 문법적인 단위를 무엇이라고 하는가?
토큰
오토마타
BNF
모듈
어휘 분석의 주된 역할은 원시 프로그램을 하나의 긴 스트링으로 보고 원시 프로그램을 문자 단위로 스캐닝 하여 문법적으로 의미 있는 일련의 문자들로 분할해 내는 것을 말한다. 이때 분할된 문법적인 단위를 무엇이라고 하는가?
A. 토큰
B. 오토마타
C. BNF
D. 모듈