I denna tidning är vi intresserade av att modellera komplexa aktiviteter som förekommer i ett typiskt hushåll. Vi föreslår att använda program, dvs. sekvenser av atomiska åtgärder och interaktioner, som en hög nivå representation av komplexa uppgifter. Program är intressanta eftersom de ger en icke-ambikuös representation av en uppgift, och tillåter agenter att utföra dem. I dag finns det dock ingen databas som tillhandahåller denna typ av information. Mot detta mål, vi första crowd-source program för en mängd olika aktiviteter som händer i människors hem, via ett spelliknande gränssnitt som används för att lära barn hur man kodar. Med hjälp av insamlade data, visar vi hur vi kan lära oss att extrahera program direkt från naturliga språkbeskrivningar eller från videor. Vi implementerar sedan de vanligaste atomiska (inter)aktionerna i Unity3D spelmotorn, och använder våra program för att "driva" en artificiell agent för att utföra uppgifter i en simulerad hushållsmiljö. Vår VirtualHome simulator gör att vi kan skapa en stor aktivitet video dataset med rik mark-sanning, möjliggör utbildning och testning av video förståelse modeller. Vi visar vidare upp exempel på vår agent som utför uppgifter i vår VirtualHome baserat på språkbeskrivningar.
Xavieret al. REF använder sekvenser av atomiska åtgärder och interaktioner för att generera åtgärder i en simulerad hushållsmiljö.
VirtualHome: Simulating Household Activities via Programs
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}