어휘분석의 주된 역할은 원시 프로그램을 하나의 긴 스트링으로 보고 원시 프로그램을 문자 단위로 스캐닝하여 문법적으로 의미있는 일련의 문자들로 분할해 내는 것을 말한다. 이 때 분할된 문법적인 단위를 무엇이라고 하는가?
토큰
오토마타
BNF
모듈
어휘분석의 주된 역할은 원시 프로그램을 하나의 긴 스트링으로 보고 원시 프로그램을 문자 단위로 스캐닝하여 문법적으로 의미있는 일련의 문자들로 분할해 내는 것을 말한다. 이 때 분할된 문법적인 단위를 무엇이라고 하는가?
A. 토큰
B. 오토마타
C. BNF
D. 모듈