def tgrep_tokenize(tgrep_string):
 parser = _build_tgrep_parser(False)
 if isinstance(tgrep_string, binary_type):
  tgrep_string = tgrep_string.decode()
 return list(parser.parseString(tgrep_string))

def tgrep_tokenize ( tgrep_string ) : parser = _build_tgrep_parser ( False ) if isinstance ( tgrep_string , binary_type ) : tgrep_string = tgrep_string . decode ( ) return list ( parser . parseString ( tgrep_string ) )
tokenizes a tgrep search string into separate tokens .