<s> tokens = [ <EOL> '<STR_LIT>' , '<STR_LIT>' , '<STR_LIT>' , '<STR_LIT>' , '<STR_LIT>' , '<STR_LIT>' , <EOL> '<STR_LIT>' , '<STR_LIT>' , '<STR_LIT>' , '<STR_LIT>' , '<STR_LIT>' , <EOL> '<STR_LIT>' , '<STR_LIT>' , '<STR_LIT>' , '<STR_LIT>' , '<STR_LIT>' , '<STR_LIT>' , <EOL> '<STR_LIT>' , '<STR_LIT>' , '<STR_LIT>' , <EOL> '<STR_LIT>' , '<STR_LIT>' , '<STR_LIT>' , '<STR_LIT>' , '<STR_LIT>' , '<STR_LIT>' , <EOL> '<STR_LIT>' , '<STR_LIT>' , '<STR_LIT>' , '<STR_LIT>' , '<STR_LIT>' , '<STR_LIT>' , <EOL> '<STR_LIT>' , '<STR_LIT>' , '<STR_LIT>' , '<STR_LIT>' , '<STR_LIT>' , <EOL> '<STR_LIT>' , '<STR_LIT>' , <EOL> '<STR_LIT>' , <EOL> '<STR_LIT>' , <EOL> '<STR_LIT>' , '<STR_LIT>' , <EOL> '<STR_LIT>' , '<STR_LIT>' , <EOL> '<STR_LIT>' , '<STR_LIT>' , <EOL> '<STR_LIT>' , '<STR_LIT>' , '<STR_LIT>' , '<STR_LIT>' , <EOL> '<STR_LIT>' , <EOL> ] <EOL> t_PLUS = r'<STR_LIT>' <EOL> t_MINUS = r'<STR_LIT:->' <EOL> t_TIMES = r'<STR_LIT>' <EOL> t_DIVIDE = r'<STR_LIT:/>' <EOL> t_MODULO = r'<STR_LIT:%>' <EOL> t_OR = r'<STR_LIT>' <EOL> t_AND = r'<STR_LIT:&>' <EOL> t_NOT = r'<STR_LIT>' <EOL> t_XOR = r'<STR_LIT>' <EOL> t_LSHIFT = r'<STR_LIT>' <EOL> t_RSHIFT = r'<STR_LIT>' <EOL> t_LOR = r'<STR_LIT>' <EOL> t_LAND = r'<STR_LIT>' <EOL> t_LNOT = r'<STR_LIT:!>' <EOL> t_LT = r'<STR_LIT:<>' <EOL> t_GT = r'<STR_LIT:>>' <EOL> t_LE = r'<STR_LIT>' <EOL> t_GE = r'<STR_LIT>' <EOL> t_EQ = r'<STR_LIT>' <EOL> t_NE = r'<STR_LIT>' <EOL> t_EQUALS = r'<STR_LIT:=>' <EOL> t_TIMESEQUAL = r'<STR_LIT>' <EOL> t_DIVEQUAL = r'<STR_LIT>' <EOL> t_MODEQUAL = r'<STR_LIT>' <EOL> t_PLUSEQUAL = r'<STR_LIT>' <EOL> t_MINUSEQUAL = r'<STR_LIT>' <EOL> t_LSHIFTEQUAL = r'<STR_LIT>' <EOL> t_RSHIFTEQUAL = r'<STR_LIT>' <EOL> t_ANDEQUAL = r'<STR_LIT>' <EOL> t_OREQUAL = r'<STR_LIT>' <EOL> t_XOREQUAL = r'<STR_LIT>' <EOL> t_INCREMENT = r'<STR_LIT>' <EOL> t_DECREMENT = r'<STR_LIT>' <EOL> t_ARROW = r'<STR_LIT>' <EOL> t_TERNARY = r'<STR_LIT>' <EOL> t_LPAREN = r'<STR_LIT>' <EOL> t_RPAREN = r'<STR_LIT>' <EOL> t_LBRACKET = r'<STR_LIT>' <EOL> t_RBRACKET = r'<STR_LIT>' <EOL> t_LBRACE = r'<STR_LIT>' <EOL> t_RBRACE = r'<STR_LIT>' <EOL> t_COMMA = r'<STR_LIT:U+002C>' <EOL> t_PERIOD = r'<STR_LIT>' <EOL> t_SEMI = r'<STR_LIT:;>' <EOL> t_COLON = r'<STR_LIT::>' <EOL> t_ELLIPSIS = r'<STR_LIT>' <EOL> t_ID = r'<STR_LIT>' <EOL> t_INTEGER = r'<STR_LIT>' <EOL> t_FLOAT = r'<STR_LIT>' <EOL> t_STRING = r'<STR_LIT>' <EOL> t_CHARACTER = r'<STR_LIT>' <EOL> def t_COMMENT ( t ) : <EOL> r'<STR_LIT>' <EOL> t . lexer . lineno += t . value . count ( '<STR_LIT:\n>' ) <EOL> return t <EOL> def t_CPPCOMMENT ( t ) : <EOL> r'<STR_LIT>' <EOL> t . lexer . lineno += <NUM_LIT:1> <EOL> return t </s>
