I detta dokument föreslår vi en ny oövervakad strategi för frågesegmentering, en viktig uppgift i webbsökning. Vi använder en generativ frågemodell för att återställa en frågas underliggande begrepp som komponerar dess ursprungliga segmenterade form. Modellens parametrar uppskattas med hjälp av en förväntan-maximization (EM) algoritm, optimera den minsta beskrivningen längd objektiv funktion på en partiell corpus som är specifik för frågan. För att öka detta oövervakade lärande innehåller vi bevis från Wikipedia. Experiment visar att vårt tillvägagångssätt dramatiskt förbättrar prestandan jämfört med det traditionella tillvägagångssättet som bygger på ömsesidig information och ger jämförbara resultat med en övervakad metod. I synnerhet bidrar den grundläggande generativa språkmodellen till en förbättring med 7,4 % jämfört med den ömsesidiga informationsbaserade metoden (mätt enligt segment F1 på intersektionstestet). EM-optimering förbättrar prestandan ytterligare med 14,3%. Ytterligare kunskap från Wikipedia ger ytterligare en förbättring på 24,3%, vilket ger en total förbättring på 46% (från 0,530 till 0,774).
Tan och Peng REF presenterar en generativ modellbaserad metod för frågesegmentering.
Unsupervised query segmentation using generative language models and wikipedia
{'venue': 'In WWW ’08', 'journal': None, 'mag_field_of_study': ['Computer Science']}