<s> import unittest2 as unittest <EOL> from vsm . extensions . corpusbuilders import * <EOL> from vsm . extensions . corpusbuilders . corpusbuilders import file_tokenize , coll_tokenize , dir_tokenize , corpus_fromlist <EOL> import numpy as np <EOL> class TestCorpusbuilders ( unittest . TestCase ) : <EOL> def test_empty_corpus ( self ) : <EOL> c = empty_corpus ( ) <EOL> self . assertTrue ( ( np . array ( [ ] ) == c . corpus ) . all ( ) ) <EOL> self . assertTrue ( [ '<STR_LIT>' ] == c . context_types ) <EOL> self . assertTrue ( ( np . array ( [ ] ) == c . view_contexts ( '<STR_LIT>' ) ) . all ( ) ) <EOL> def test_corpus_fromlist ( self ) : <EOL> l = [ [ ] , [ '<STR_LIT>' , '<STR_LIT>' , '<STR_LIT>' , '<STR_LIT>' ] , [ ] , <EOL> [ '<STR_LIT>' , '<STR_LIT>' , '<STR_LIT>' ] , [ ] ] <EOL> c = corpus_fromlist ( l , context_type = '<STR_LIT>' ) <EOL> self . assertTrue ( c . context_types == [ '<STR_LIT>' ] ) <EOL> self . assertTrue ( ( c . context_data [ <NUM_LIT:0> ] [ '<STR_LIT>' ] == [ <NUM_LIT:4> , <NUM_LIT:7> ] ) . all ( ) ) <EOL> self . assertTrue ( ( c . context_data [ <NUM_LIT:0> ] [ '<STR_LIT>' ] == <EOL> [ '<STR_LIT>' , '<STR_LIT>' ] ) . all ( ) ) <EOL> def test_toy_corpus ( self ) : <EOL> keats = ( '<STR_LIT>' <EOL> '<STR_LIT>' <EOL> '<STR_LIT>' <EOL> '<STR_LIT>' <EOL> '<STR_LIT>' <EOL> '<STR_LIT>' <EOL> '<STR_LIT>' <EOL> '<STR_LIT>' <EOL> '<STR_LIT>' <EOL> '<STR_LIT>' ) <EOL> self . assertTrue ( toy_corpus ( keats ) ) <EOL> self . assertTrue ( toy_corpus ( keats , nltk_stop = True ) ) <EOL> self . assertTrue ( toy_corpus ( keats , stop_freq = <NUM_LIT:1> ) ) <EOL> self . assertTrue ( toy_corpus ( keats , add_stop = [ '<STR_LIT>' , '<STR_LIT>' ] ) ) <EOL> self . assertTrue ( toy_corpus ( keats , nltk_stop = True , <EOL> stop_freq = <NUM_LIT:1> , add_stop = [ '<STR_LIT>' ] ) ) <EOL> import os <EOL> from tempfile import NamedTemporaryFile as NFT <EOL> tmp = NFT ( delete = False ) <EOL> tmp . write ( keats ) <EOL> tmp . close ( ) <EOL> c = toy_corpus ( tmp . name , is_filename = True , <EOL> nltk_stop = True , add_stop = [ '<STR_LIT>' ] ) <EOL> self . assertTrue ( c ) <EOL> os . remove ( tmp . name ) <EOL> return c <EOL> def test_file_tokenize ( self ) : <EOL> text = '<STR_LIT>' <EOL> words , context_data = file_tokenize ( text ) <EOL> self . assertTrue ( len ( words ) == <NUM_LIT:11> ) <EOL> self . assertTrue ( len ( context_data [ '<STR_LIT>' ] ) == <NUM_LIT:3> ) <EOL> self . assertTrue ( len ( context_data [ '<STR_LIT>' ] ) == <NUM_LIT:6> ) <EOL> self . assertTrue ( ( context_data [ '<STR_LIT>' ] [ '<STR_LIT>' ] == <EOL> [ <NUM_LIT:3> , <NUM_LIT:10> , <NUM_LIT:11> ] ) . all ( ) ) <EOL> self . assertTrue ( ( context_data [ '<STR_LIT>' ] [ '<STR_LIT>' ] == <EOL> [ '<STR_LIT:0>' , '<STR_LIT:1>' , '<STR_LIT:2>' ] ) . all ( ) ) <EOL> self . assertTrue ( ( context_data [ '<STR_LIT>' ] [ '<STR_LIT>' ] == <EOL> [ <NUM_LIT:3> , <NUM_LIT:5> , <NUM_LIT:7> , <NUM_LIT:9> , <NUM_LIT:10> , <NUM_LIT:11> ] ) . all ( ) ) <EOL> self . assertTrue ( ( context_data [ '<STR_LIT>' ] [ '<STR_LIT>' ] == <EOL> [ '<STR_LIT:0>' , '<STR_LIT:1>' , '<STR_LIT:1>' , '<STR_LIT:1>' , '<STR_LIT:1>' , '<STR_LIT:2>' ] ) . all ( ) ) <EOL> self . assertTrue ( ( context_data [ '<STR_LIT>' ] [ '<STR_LIT>' ] == <EOL> [ '<STR_LIT:0>' , '<STR_LIT:1>' , '<STR_LIT:2>' , '<STR_LIT:3>' , '<STR_LIT:4>' , '<STR_LIT:5>' ] ) . all ( ) ) <EOL> def test_file_corpus ( self ) : <EOL> text = '<STR_LIT>' <EOL> import os <EOL> from tempfile import NamedTemporaryFile as NFT <EOL> tmp = NFT ( delete = False ) <EOL> tmp . write ( text ) <EOL> tmp . close ( ) <EOL> c = file_corpus ( tmp . name ) <EOL> self . assertTrue ( c ) <EOL> os . remove ( tmp . name ) <EOL> return c <EOL> def test_dir_tokenize ( self ) : <EOL> chunks = [ '<STR_LIT>' , <EOL> '<STR_LIT>' , <EOL> '<STR_LIT>' , <EOL> '<STR_LIT>' ] <EOL> labels = [ str ( i ) for i in xrange ( len ( chunks ) ) ] <EOL> words , context_data = dir_tokenize ( chunks , labels ) <EOL> print <EOL> print context_data [ '<STR_LIT>' ] [ '<STR_LIT>' ] <EOL> print <EOL> self . assertTrue ( len ( words ) == <NUM_LIT:11> ) <EOL> self . assertTrue ( len ( context_data [ '<STR_LIT>' ] ) == <NUM_LIT:4> ) <EOL> self . assertTrue ( len ( context_data [ '<STR_LIT>' ] ) == <NUM_LIT:6> ) <EOL> self . assertTrue ( len ( context_data [ '<STR_LIT>' ] ) == <NUM_LIT:6> ) <EOL> self . assertTrue ( ( context_data [ '<STR_LIT>' ] [ '<STR_LIT>' ] == [ <NUM_LIT:5> , <NUM_LIT:9> , <NUM_LIT:9> , <NUM_LIT:11> ] ) . all ( ) ) <EOL> self . assertTrue ( ( context_data [ '<STR_LIT>' ] [ '<STR_LIT>' ] == <EOL> [ '<STR_LIT:0>' , '<STR_LIT:1>' , '<STR_LIT:2>' , '<STR_LIT:3>' ] ) . all ( ) ) <EOL> self . assertTrue ( ( context_data [ '<STR_LIT>' ] [ '<STR_LIT>' ] == <EOL> [ <NUM_LIT:3> , <NUM_LIT:5> , <NUM_LIT:9> , <NUM_LIT:9> , <NUM_LIT:10> , <NUM_LIT:11> ] ) . all ( ) ) <EOL> self . assertTrue ( ( context_data [ '<STR_LIT>' ] [ '<STR_LIT>' ] == <EOL> [ '<STR_LIT:0>' , '<STR_LIT:0>' , '<STR_LIT:1>' , '<STR_LIT:2>' , '<STR_LIT:3>' , '<STR_LIT:3>' ] ) . all ( ) ) <EOL> self . assertTrue ( ( context_data [ '<STR_LIT>' ] [ '<STR_LIT>' ] == <EOL> [ '<STR_LIT:0>' , '<STR_LIT:1>' , '<STR_LIT:2>' , '<STR_LIT:3>' , '<STR_LIT:4>' , '<STR_LIT:5>' ] ) . all ( ) ) <EOL> self . assertTrue ( ( context_data [ '<STR_LIT>' ] [ '<STR_LIT>' ] == <EOL> [ <NUM_LIT:3> , <NUM_LIT:5> , <NUM_LIT:7> , <NUM_LIT:9> , <NUM_LIT:10> , <NUM_LIT:11> ] ) . all ( ) ) <EOL> self . assertTrue ( ( context_data [ '<STR_LIT>' ] [ '<STR_LIT>' ] == <EOL> [ '<STR_LIT:0>' , '<STR_LIT:0>' , '<STR_LIT:1>' , '<STR_LIT:1>' , '<STR_LIT:3>' , '<STR_LIT:3>' ] ) . all ( ) ) <EOL> self . assertTrue ( ( context_data [ '<STR_LIT>' ] [ '<STR_LIT>' ] == <EOL> [ '<STR_LIT:0>' , '<STR_LIT:1>' , '<STR_LIT:2>' , '<STR_LIT:2>' , '<STR_LIT:4>' , '<STR_LIT:5>' ] ) . all ( ) ) <EOL> self . assertTrue ( ( context_data [ '<STR_LIT>' ] [ '<STR_LIT>' ] == <EOL> [ '<STR_LIT:0>' , '<STR_LIT:1>' , '<STR_LIT:2>' , '<STR_LIT:3>' , '<STR_LIT:4>' , '<STR_LIT:5>' ] ) . all ( ) ) <EOL> def test_coll_tokenize ( self ) : <EOL> books = [ [ ( '<STR_LIT>' , '<STR_LIT:1>' ) , <EOL> ( '<STR_LIT>' , '<STR_LIT:2>' ) ] , <EOL> [ ( '<STR_LIT>' , '<STR_LIT:3>' ) , <EOL> ( '<STR_LIT>' , '<STR_LIT:4>' ) ] ] <EOL> book_names = [ str ( i ) for i in xrange ( len ( books ) ) ] <EOL> words , context_data = coll_tokenize ( books , book_names ) <EOL> self . assertTrue ( len ( words ) == <NUM_LIT:11> ) <EOL> self . assertTrue ( len ( context_data [ '<STR_LIT>' ] ) == <NUM_LIT:2> ) <EOL> self . assertTrue ( len ( context_data [ '<STR_LIT>' ] ) == <NUM_LIT:4> ) <EOL> self . assertTrue ( len ( context_data [ '<STR_LIT>' ] ) == <NUM_LIT:6> ) <EOL> self . assertTrue ( ( context_data [ '<STR_LIT>' ] [ '<STR_LIT>' ] == [ <NUM_LIT:9> , <NUM_LIT:11> ] ) . all ( ) ) <EOL> self . assertTrue ( ( context_data [ '<STR_LIT>' ] [ '<STR_LIT>' ] == [ '<STR_LIT:0>' , '<STR_LIT:1>' ] ) . all ( ) ) <EOL> self . assertTrue ( ( context_data [ '<STR_LIT>' ] [ '<STR_LIT>' ] == [ <NUM_LIT:5> , <NUM_LIT:9> , <NUM_LIT:9> , <NUM_LIT:11> ] ) . all ( ) ) <EOL> self . assertTrue ( ( context_data [ '<STR_LIT>' ] [ '<STR_LIT>' ] == <EOL> [ '<STR_LIT:0>' , '<STR_LIT:1>' , '<STR_LIT:2>' , '<STR_LIT:3>' ] ) . all ( ) ) <EOL> self . assertTrue ( ( context_data [ '<STR_LIT>' ] [ '<STR_LIT>' ] == <EOL> [ '<STR_LIT:0>' , '<STR_LIT:0>' , '<STR_LIT:1>' , '<STR_LIT:1>' ] ) . all ( ) ) <EOL> self . assertTrue ( ( context_data [ '<STR_LIT>' ] [ '<STR_LIT>' ] == <EOL> [ <NUM_LIT:3> , <NUM_LIT:5> , <NUM_LIT:7> , <NUM_LIT:9> , <NUM_LIT:10> , <NUM_LIT:11> ] ) . all ( ) ) <EOL> self . assertTrue ( ( context_data [ '<STR_LIT>' ] [ '<STR_LIT>' ] == <EOL> [ '<STR_LIT:0>' , '<STR_LIT:1>' , '<STR_LIT:2>' , '<STR_LIT:3>' , '<STR_LIT:4>' , '<STR_LIT:5>' ] ) . all ( ) ) <EOL> self . assertTrue ( ( context_data [ '<STR_LIT>' ] [ '<STR_LIT>' ] == <EOL> [ '<STR_LIT:0>' , '<STR_LIT:0>' , '<STR_LIT:1>' , '<STR_LIT:1>' , '<STR_LIT:3>' , '<STR_LIT:3>' ] ) . all ( ) ) <EOL> self . assertTrue ( ( context_data [ '<STR_LIT>' ] [ '<STR_LIT>' ] == <EOL> [ '<STR_LIT:0>' , '<STR_LIT:0>' , '<STR_LIT:0>' , '<STR_LIT:0>' , '<STR_LIT:1>' , '<STR_LIT:1>' ] ) . all ( ) ) <EOL> self . assertTrue ( ( context_data [ '<STR_LIT>' ] [ '<STR_LIT:file>' ] == <EOL> [ '<STR_LIT:1>' , '<STR_LIT:2>' , '<STR_LIT:3>' , '<STR_LIT:4>' ] ) . all ( ) ) <EOL> self . assertTrue ( ( context_data [ '<STR_LIT>' ] [ '<STR_LIT:file>' ] == <EOL> [ '<STR_LIT:1>' , '<STR_LIT:1>' , '<STR_LIT:2>' , '<STR_LIT:2>' , '<STR_LIT:4>' , '<STR_LIT:4>' ] ) . all ( ) ) <EOL> suite = unittest . TestLoader ( ) . loadTestsFromTestCase ( TestCorpusbuilders ) <EOL> unittest . TextTestRunner ( verbosity = <NUM_LIT:2> ) . run ( suite ) </s>
