I en tidigare artikel presenterade vi en systematisk beräkningsstudie av extraktionen av semantiska representationer från ord-ord sam-occurrent statistik av stora textkorpora. Slutsatsen var att semantiska vektorer av Pointwise Mutual Information (PMI) värden från mycket små samtidiga fönster, tillsammans med en cosinus avstånd mäter, konsekvent resulterade i de bästa representationerna i en rad psykologiskt relevanta semantiska uppgifter. Detta dokument utvidgar denna studie genom att undersöka användningen av ytterligare tre faktorer, nämligen tillämpningen av stopplistor, ordåterkallelse och dimensionalitetsminskning med hjälp av Singular Value Decomposition (SVD), som har använts för att ge förbättrad prestanda på annat håll. Det introducerar också en extra semantisk uppgift och utforskar fördelarna med att använda en mycket större corpus. Detta leder till upptäckt och analys av förbättrade SVD-baserade metoder för att generera semantiska representationer (som ger nya state-of-the-art prestanda på en standard TOEFL uppgift) och identifiering och diskussion av problem och vilseledande resultat som kan uppstå utan en fullständig systematisk studie.
En systematisk undersökning av de viktigaste beräkningsmöjligheterna för att formulera och validera framställningar av ordbetydelser från statistik över sammanfallande ord presenterades av Ref.
Extracting semantic representations from word co-occurrence statistics: A computational study
{'venue': 'Behavior Research Methods', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Medicine']}