Abstract-I detta papper, vi tar itu med problemet med att hämta objekt baserat på öppen-vokabulary naturliga språkfrågor: Med tanke på en fras som beskriver ett specifikt objekt, t.ex. "majsflingor rutan", uppgiften är att hitta den bästa matchningen i en uppsättning bilder som innehåller kandidat objekt. Vid namngivning av objekt tenderar människor att använda naturligt språk med rika semantik, inklusive grundnivåkategorier, finkorniga kategorier och exempelnivåbegrepp som märkesnamn. Befintliga metoder för storskaligt objektigenkänning misslyckas i detta scenario, eftersom de förväntar sig frågor som kartlägger direkt till en fast uppsättning förtränade visuella kategorier, t.ex. Synuppsättningstaggar för ImageNet. Vi tar itu med denna begränsning genom att införa en ny metod för att hämta objekt. Med tanke på en kandidat objektbild, kartlägger vi först det till en uppsättning ord som sannolikt kommer att beskriva det, med hjälp av flera lärda bild-till-text projektioner. Vi föreslår också en metod för hantering av öppna vokabulärer, dvs. ord som inte ingår i träningsdata. Vi jämför sedan den naturliga språkfrågan med de uppsättningar av ord som förutspås för varje kandidat och väljer den bästa matchningen. Vår metod kan kombinera semantik på kategori- och instansnivå i en gemensam representation. Vi presenterar omfattande experimentella resultat på flera dataset med både instans-nivå och kategori-nivå matchning och visar att vårt tillvägagångssätt kan exakt hämta objekt baserat på extremt varierande öppna-vokabulära frågor. Källkoden för vårt tillvägagångssätt kommer att vara allmänt tillgänglig tillsammans med förutbildade modeller på http://openvoc.berkeleyvision.org och kan användas direkt för robottillämpningar.
Med tanke på en uppsättning kandidat objekt regioner, Guadarrama et al. REF genererade text från de kandidater som representerades som säck-of-words och jämförde ordpåsar med frågetexten.
Open-vocabulary Object Retrieval
{'venue': 'Robotics: Science and Systems', 'journal': None, 'mag_field_of_study': ['Computer Science']}