I ett dokument strömmande miljö, online upptäckt av de första dokumenten som nämner tidigare osynliga händelser är en öppen utmaning. För denna online nya händelsedetektering (ONED) uppgift, antar befintliga studier vanligtvis att tillräckligt med resurser alltid finns tillgängliga och fokuserar helt på detektion noggrannhet utan att överväga effektivitet. Dessutom tar inget av det befintliga arbetet upp frågan om att tillhandahålla ett effektivt och vänligt användargränssnitt. Som ett resultat av detta finns det en betydande klyfta mellan de befintliga systemen och ett system som kan användas i praktiken. I detta dokument föreslår vi en ONED-ram med följande framträdande inslag. För det första används en kombination av indexering och komprimeringsmetoder för att förbättra dokumentbehandlingshastigheten efter storleksordning utan att offra mycket detektionsnoggrannhet. För det andra, när resurserna är knappa, används en resursadaptiv beräkningsmetod för att maximera den nytta som kan uppnås med de begränsade resurserna. För det tredje filtreras nya händelser ytterligare och prioriteras innan de presenteras för konsumenten när den nya ankomstgraden är större än konsumentens bearbetningskapacitet i ONED-systemet. För det fjärde skapas implicita citeringsförhållanden bland alla dokument och används för att beräkna vikten av dokumentkällor. Denna viktiga information kan vägleda valet av dokumentkällor. Vi implementerade en prototyp av vårt ramverk ovanpå IBM: s Stream Processing Core middleware. Vi utvärderade också våra teknikers effektivitet på standardriktmärket TDT5. Såvitt vi vet är detta det första genomförandet av en verklig tillämpning i ett storskaligt strömbearbetningssystem.
Problemet med att upptäcka nya händelser online i en storskalig streamingmiljö behandlades tidigare i REF.
Resource-adaptive real-time new event detection
{'venue': "SIGMOD '07", 'journal': None, 'mag_field_of_study': ['Computer Science']}