De flesta tekniker för att relatera textinformation bygger på intellektuellt skapade länkar som författare-valda sökord och titlar, myndighet indexering termer, eller bibliografiska citeringar. Likheten i det semantiska innehållet i hela dokument, snarare än bara titlar, abstrakter eller överlappningar av nyckelord, erbjuder ett attraktivt alternativ. Latent semantisk analys ger en effektiv dimensionsreduktionsmetod för det ändamål som speglar synonymer och känslan av godtyckliga ordkombinationer. Emellertid, latent semantisk analys korrelationer med mänsklig text-till-text likhet bedömningar är ofta empiriskt högsta vid 300 dimensioner. Således, två-eller tredimensionella visualiseringar är starkt begränsade i vad de kan visa, och den första och en andra automatiskt upptäckte huvudkomponenten, eller tre sådana för den delen, sällan fånga alla de relationer som kan vara av intresse. Det är vår gissning att språklig betydelse är i sig och oåterkalleligen mycket dimensionell. Därför behövs en viss metod för att utforska en högdimensionell likhet utrymme. Men 2.7 10 7 projektioner och oändliga rotationer av till exempel ett 300-dimensionellt mönster är omöjliga att undersöka. Vi föreslår dock att användningen av en högdimensionell dynamisk tittare med en effektiv projektion jakt rutin och användarkontroll, tillsammans med de utsökta förmågorna hos det mänskliga visuella systemet för att extrahera information om objekt och från rörliga mönster, kan ofta lyckas upptäcka flera avslöjande vyer som missas av nuvarande beräkningsalgoritmer. Vi visar några exempel på användning av latent semantisk analys för att stödja sådana visualiseringar och erbjuda åsikter om framtida behov. M ost tekniker för att relatera textinformation bygger på intellektuellt skapade länkar såsom författaren valda sökord och titlar, auktoritet indexering termer, eller bibliografiska citeringar (1). Likheten i det semantiska innehållet i hela dokument, snarare än bara titlar, abstrakter eller en överlappning av nyckelord, erbjuder ett attraktivt alternativ. Latent semantisk analys (LSA) ger en effektiv dimensionsreduktionsmetod för det ändamål som speglar synonymer och känslan av godtyckliga ordkombinationer (2, 3). LSA är en av ett växande antal corpus-baserade tekniker som använder statistisk maskininlärning i textanalys. Andra tekniker inkluderar generativa modeller av Griffiths och Steyvers (4) och Erosheva et al. (5) och den strängeditbaserade metoden av S. Dennis (6) och flera nya beräkningsförverkliganden av LSA. Tyvärr ska ingen av de andra metoderna skalas till textdatabaser av den storlek som ofta önskas för visualisering av domänkunskap. Den linjära singular value decomposition (SVD) teknik som beskrivs här har tillämpats på samlingar av så många som en halv miljard dokument som innehåller 750.000 unika ordtyper, som alla används för att mäta likheten av två dokument. LSA förutsätter att det övergripande semantiska innehållet i en passage, såsom en punkt, abstrakt, eller fullständig sammanhängande dokument, kan med fördel approximeras som en summa av innebörden av dess ord, enligt följande: betydelse av punkt  med betydelsen av ord 1  på betydelsen av ord 2  på..  på betydelsen av ord n. Ömsesidigt konsekvent betydelse representationer för ord och passager kan alltså härledas från en stor text corpus genom att behandla varje passage som en linjär ekvation och corpus som ett system av samtidiga ekvationer. I standard LSA uppnås lösningen av ett sådant system genom SVD (3). SVD definieras som X  på WSP. Eftersom SVD tillämpas på en textkorpus för LSA, X är en matris av ord av punkter, med celler som innehåller log av frekvensen av ett ord i en punkt viktas omvänt med entropi av ordet över alla punkter. Matrisen bryts ned av ett iterativt sparse-matris SVD-program (3) i tre matriser, två med ortonormala singular vektorer, W och P, som står för ord respektive stycken, respektive en diagonal S-matris av singular värden (kvadratrötter av eigenvärden). SVD ger en lösning som är unik upp till linjär omvandling. För mycket stora corpora, metoderna finner endast ungefärliga lösningar i dimensionaliteter långt under matrisens rang och, i praktiken, är vanligtvis begränsade till 200-400 dimensioner, av skäl som ska anges inom kort. Likheter mellan ord eller dokument mäts vanligen med deras cosinus (cos) i den resulterande högdimensionella semantiska rymden. Vektorer för nya stycken kan beräknas dynamiskt genom att helt enkelt lägga till vektorerna i deras ord, även om det efter stora tillägg eller ändringar i domänen kan vara nödvändigt att omkomputera det semantiska utrymmet, en process som tar flera timmar till dagar beroende på corpus storlek och datorkraft. Även om matematiskt påvisbara, formella egenskaper som upplösning, kompaktitet och separation av kluster inte är vad som är viktigast för visualisering (eller andra mänskliga användningsområden såsom informationshämtning) om de inte gav upphov till användbara mänskliga uppfattningar (eller förståelser). Därför har vi testat den underliggande textanalysens effektivitet genom att simulera mänskliga bedömningar av texternas likheter och jämföra dem med människors. Detta har gjorts på många sätt med goda resultat, enighet mellan maskin och människa så bra eller nästan lika bra som mellan två människor. Till exempel, efter utbildning på korpora som människor lärt sig eller kan ha, LSA-baserade simuleringar har klarat flera val vokabulär tester och läroboksbaserade slutprov på studentnivå (7). Den ofta påträffade effekten av dimensionalitet och förekomsten av en hög och starkt toppade optimal visades dramatiskt av prestanda på flera val objekt från Test av engelska som ett främmande språk. LSA valde det mest likartade alternativa ordet som det med den största cos till frågeordet. Bilda. 1 visar att dess prestanda vid 250-400 dimensioner var mycket bättre än vid två eller tre, Detta papper är resultatet av Arthur M. Sackler
Landauer REF beskriver en linjär SVD-teknik och tillämpar den på en samling av en halv miljard dokument som innehåller 750 000 unika ordtyper.
From paragraph to graph: Latent semantic analysis for information visualization
{'venue': 'Proceedings of the National Academy of Sciences of the United States of America', 'journal': 'Proceedings of the National Academy of Sciences of the United States of America', 'mag_field_of_study': ['Computer Science', 'Medicine']}