Vi presenterar resultaten av en storskalig, end-to-end mänsklig utvärdering av olika känslosammanfattningsmodeller. Utvärderingen visar att användarna har en stark preferens för sammanfattningar som modellerar känslor framför icke-sentiment baslinjer, men inte har någon bred övergripande preferens mellan någon av de känslobaserade modellerna. En analys av de mänskliga bedömningarna tyder emellertid på att det finns identifierbara situationer där en sammanfattning i allmänhet föredras framför de andra. Vi utnyttjar detta faktum för att bygga en ny sammanfattning genom att utbilda en rankning SVM modell över den uppsättning mänskliga preferens bedömningar som samlades in under utvärderingen, vilket resulterar i en 30% relativ minskning av felet jämfört med den tidigare bästa sammanfattningen.
Lerman m.fl. utfört en utvärdering som visar att användarna har en stark preferens för sammanfattningar som modellerar känslor över icke-sentiment basics REF.
Sentiment Summarization: Evaluating and Learning User Preferences
{'venue': 'EACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}