Med hjälp av ett nytt utvärderingsverktyg som simulerar en människas granskare i slingan jämför vi effektiviteten av tre maskininlärningsprotokoll för teknikstödd granskning som används i dokumentgranskning för upptäckt i rättsliga förfaranden. Vår jämförelse tar upp en central fråga i utvecklingen av teknikstödd granskning: Bör utbildningsdokument väljas slumpmässigt, eller bör de väljas med hjälp av en eller flera icke-slumpmässiga metoder, såsom sökordssökning eller aktivt lärande? När det gäller åtta granskningsuppgifter – fyra som härrör från TREC 2009:s juridiska spår och fyra som härrör från faktiska rättsliga frågor – mättes tillbakadragandet som en funktion av den mänskliga översynsansträngningen. Resultaten visar att helt icke-slumpmässiga utbildningsmetoder, där de inledande utbildningsdokumenten väljs med hjälp av en enkel sökordssökning, och efterföljande utbildningsdokument väljs ut genom aktivt lärande, kräver betydligt och betydligt mindre mänsklig granskning (P < 0,01) för att uppnå en viss nivå av återkallande, än passiv inlärning, där maskininlärningsalgoritmen inte spelar någon roll i valet av utbildningsdokument. Bland passiva inlärningsmetoder krävs betydligt mindre mänsklig granskning (P < 0,01) när nyckelord används i stället för slumpmässig provtagning för att välja de inledande utbildningsdokumenten. Bland aktiva inlärningsmetoder ger kontinuerligt aktivt lärande med relevans återkoppling generellt överlägsna resultat till enkelt aktivt lärande med osäkerhetsprovtagning, samtidigt som man undviker den besvärliga frågan om "stabilisering" -avgörande när utbildningen är tillräcklig, och därför kan sluta.
Till exempel, Cormack och Grossman REF presenterade en metod som kallas kontinuerlig aktiv inlärning och visade att välja inledande utbildningsdokument genom en enkel sökordssökning, och efterföljande utbildningsdokument genom kontinuerlig aktiv inlärning, krävde betydligt mindre (enligt ett teckentest med p < 0,01) granska ansträngningar för att uppnå en viss nivå av återkallande, jämfört med när lärande algoritm inte genomföra en aktiv inlärningsstrategi för att välja de dokument som ska användas för utbildning.
Evaluation of machine-learning protocols for technology-assisted review in electronic discovery
{'venue': None, 'journal': 'Proceedings of the 37th international ACM SIGIR conference on Research & development in information retrieval', 'mag_field_of_study': ['Computer Science']}