I detta dokument presenteras vårt senaste arbete med design och utveckling av en ny, storskalig datauppsättning, som vi namnger MS MARCO, för MAchine Reading COmprehension. Detta nya dataset syftar till att övervinna ett antal välkända svagheter i tidigare allmänt tillgängliga dataset för samma uppgift att läsa förståelse och svara på frågor. I MS MARCO, alla frågor provtas från verkliga anonymiserade användarfrågor. De sammanhangsavsnitt, från vilka svaren i datasetet härleds, extraheras från verkliga webbdokument med hjälp av den mest avancerade versionen av Bing sökmotorn. Svaren på frågorna är mänskliga. Slutligen, en delmängd av dessa frågor har flera svar. Vi strävar efter att släppa en miljon frågor och motsvarande svar i datasetet, som, såvitt vi vet, är den mest omfattande verkliga dataset av sitt slag i både kvantitet och kvalitet. Vi släpper för närvarande 100 000 frågor med motsvarande svar för att inspirera arbetet med att läsa förståelse och svara på frågor tillsammans med att samla feedback från forskarsamhället.
MS MARCO REF är också en storskalig datauppsättning.
MS MARCO: A Human Generated MAchine Reading COmprehension Dataset
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}