Vi introducerar en allmän konditioneringsmetod för neurala nätverk som heter FiLM: Feature-wise Linear Modulation. FiLM-lager påverkar neurala nätverksberäkningar via en enkel, funktionsmässigt affin transformation baserad på konditioneringsinformation. Vi visar att FiLM-lager är mycket effektiva för visuellt resonemang - svar bildrelaterade frågor som kräver en process i flera steg, hög nivå - en uppgift som har visat sig svår för vanliga djupinlärningsmetoder som inte uttryckligen modellerar resonemang. Specifikt visar vi på visuella resonemang uppgifter som FiLM lager 1) halvera tillstånd-av-hjärta fel för CLEVR-riktmärket, 2) modulera funktioner på ett sammanhängande sätt, 3) är robusta till ablationer och arkitektoniska modifieringar, och 4) generalisera väl till utmanande, nya data från några exempel eller till och med noll-shot. Index termer: Djupt lärande, språk och vision 1. FiLM modeller uppnå state-of-the-art över en mängd olika visuella resonemang uppgifter, ofta med betydande marginaler. 2. Utgångspunkten är följande: FiLM verkar på ett enhetligt sätt. Den lär sig en komplex, underliggande struktur och manipulerar det konditionerade nätverkets funktioner på ett selektivt sätt. Det gör det också möjligt för CNN att korrekt lokalisera frågor-referenterade objekt. 3. Vad är det som händer? FiLM är robust; många FiLM modell ablations fortfarande outper-arXiv:1709.07871v1 [cs.CV]
Perez och Al. REF utvecklar ett funktionsmässigt linjärt moduleringsskikt (FiLM) för att utnyttja språklig information för visuellt resonemang.
FiLM: Visual Reasoning with a General Conditioning Layer
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}