Förståelse för frågor om naturligt språk innebär förmågan att dela upp en fråga i de steg som krävs för att beräkna dess svar. I detta arbete introducerar vi en frågedekomposition som betyder representation (QDMR) för frågor. QDMR utgör den beställda listan över steg, uttryckta genom naturligt språk, som är nödvändiga för att besvara en fråga. Vi utvecklar en crowdsourcing pipeline, som visar att kvalitet QDMRs kan kommenteras i skala, och släppa BREAK dataset, som innehåller över 83K par av frågor och deras QDMRs. Vi visar nyttan av QDMR genom att visa att (a) det kan användas för att förbättra öppen-domänfrågor svar på HOTPOTQA dataset, (b) det kan deterministiskt omvandlas till ett pseudo-SQL formellt språk, som kan lindra annotation i semantiska tolkningsapplikationer. Sist använder vi BREAK för att träna en sekvenstill-sekvens-modell med kopiering som tolkar frågor till QDMR strukturer, och visar att det väsentligt överträffar flera naturliga baslinjer. QDMR NL-frågenedbrytning 1. Shayne Graham 2. field mål på #1 3. yards av # 2 4. antal # 2 för varje # 3 5. # 3 där # 4 är två 1. papper 2. # 1 i ACL 3. nyckelord # 2 4. nummer # 2 för varje # 3 5. #3 där #4 är mer än 100 select[papers] filter[ACL] projekt[keywords] grupp[count] komparativ[>,100] select[Shayne Graham] project[field goals] project[yards] group[count] comparative[=,två] select[objekt] project[colors] group[count] superlative[max] QDMR NL
Senast inför REF en frågedekomposition betyder representation (QDMR) för frågor och släpper BREAK datasetet.
Break It Down: A Question Understanding Benchmark
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}