Att beräkna den parvisa semantiska likheten mellan alla ord på webben är en utmanande uppgift. Parallellisering och optimeringar är nödvändiga. Vi föreslår ett mycket skalbart genomförande baserat på distributionslikhet, implementerat i MapReduce-ramverket och utplacerat över en 200 miljarder ord krypning av webben. Den parvisa likheten mellan 500 miljoner termer beräknas i 50 timmar med hjälp av 200 quad-core noder. Vi tillämpar den inlärda likhetsmatrisen för uppgiften automatisk expansion och presenterar en stor empirisk studie för att kvantifiera effekten på expansionsprestandan av corpus storlek, corpus kvalitet, frösammansättning och utsädesstorlek. Vi offentliggör en experimentell testbädd för scenexpansionsanalys som inkluderar en stor samling av olika enheter som extraheras från Wikipedia.
REF föreslår en mycket skalbar algoritm, som genomförs inom ramen för MapReduce, för att beräkna semantisk likhet, där termer representeras av stora och glesa kooccurence vektorer.
Web-Scale Distributional Similarity and Entity Set Expansion
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}