De flesta av de befintliga verken på bildbeskrivning fokuserar på att generera expressiva beskrivningar. De enda få verk som är dedikerade till att generera snygga (t.ex., romantiska, lyriska, etc.) beskrivningar lider av begränsad stil variation och innehåll digression. För att ta itu med dessa begränsningar föreslår vi en kontrollerbar stilren bildbeskrivningsgenereringsmodell. Det kan lära sig att generera snygga bildbeskrivningar som är mer relaterade till bildinnehåll och kan tränas med godtyckliga enspråkiga corpus utan att samla ny parad bild och snygga beskrivningar. Dessutom gör det möjligt för användare att generera olika snygga beskrivningar genom att koppla in stilspecifika parametrar för att inkludera nya stilar i den befintliga modellen. Vi uppnår denna förmåga genom en ny lager normalisering lagerdesign, som vi kommer att kalla Domän Layer Norm (DLN). Omfattande experimentell validering och användarstudie på olika snygga bildbeskrivningsgenerering uppgifter utförs för att visa konkurrensfördelarna med den föreslagna modellen. Bildbeskrivningsgenereringen (IDG) problem handlar om att generera en naturlig språkbeskrivning som transkriberar en inmatningsbild. Under årens lopp har enorma ansträngningar gjorts för att utveckla modeller som är beskrivande. Men lite arbete ägnas åt att generera beskrivningar som är stilrena (t.ex. romantisk, text etc.). Även för den handfull snygga IDG modeller som finns, de har bara en lös kontroll över stilen. I idealfallet bör en stilren IDG-modell göra det möjligt för användarna att flexibelt kontrollera de beskrivningar som genereras enligt bild 1. En sådan modell skulle vara användbar för att öka användarnas engagemang i tillämpningar som kräver mänsklig interaktion såsom chatbot och delning av sociala medier. En naiv strategi för att ta itu med det snygga IDG-problemet är att samla in nya corpora av parade bilder och beskrivningar för utbildning. Detta är emellertid dyrt. För varje stil som vi vill generera måste vi be mänskliga annoterare att skriva de romantiska beskrivningarna för varje bild i träningsdatasetet. I detta dokument föreslår vi en kontrollerbar snygg IDG-modell. Vår modell är gemensamt utbildad med en parad ostyl * Lika bidrag Copyright c 2019, Association for the Advancement of Artificial Intelligence (www.aaai.org). Alla rättigheter förbehållna. En katt betraktar sig själv som rummets kung och väntar på att tjänaren skall servera mat och vatten. [Moses] sade: "Mat! Romans: En katt som ligger i en väska på en säng med sin älskade ägare varje dag. Hon bara vaknar och väntar på kyssen från ägaren. Humor: En katt som ligger i en väska på en säng och funderar på att tillbringa sitt liv i den väskan. Men hans ägare kommer att sparka ut honom. Texter: Roliga kattscener, på framsidan av min skärm. Min video på mitt bord måste du veta. En katt som ligger i en bagageväska på en sängbild beskrivning corpus (källa domän) och en enspråkig corpus av den specifika stilen (måldomän). I denna miljö kan vår modell lära sig att generera olika stilar utan att samla in nya parade data i måldomänen. Vårt huvudsakliga bidrag är att visa att lager normalisering kan användas för att skilja språkstilar från innehållet i käll- och måldomäner via en liten tweak. Denna design gör det möjligt för oss att använda det delade innehållet för att generera beskrivningar som är mer relevanta för bilden samt styra stilen genom att koppla in i en uppsättning stilspecifika parametrar. Vi hänvisar denna mekanism som Domain Layer Normalization (DLN) eftersom vi behandlar varje stil som måldomän i domänöverföringsinställningen. Vi genomför en omfattande experimentell utvärdering för att validera det föreslagna tillvägagångssättet med både subjektiva och objektiva resultatmått. Vi utvärderar vår modell på fyra olika stilar, inklusive saga, romans, humor och country låttexter stil (texter). Experimentella resultat visar att vår modell genererar snygga beskrivningar som föredras mer av människor. Det överträffar också tidigare arbeten på objektiva prestandamått. (Liu, Breuel och Kautz 2017) att uppmuntra samma bild inom två domäner att kartläggas till gemensam latent kod. Vår metod liknar dessa verk på hög nivå, men språkets diskreta egenskap krävde ny modelldesign. Språklig överföring. Övervakad inlärning kan användas för att generera olika språkliga attribut (t.ex. olika känslor och olika grader av beskrivande), men det kräver en betydande mängd märkta data. Många senaste verk antar att det finns ett share content utrymme och en latent stil vektor mellan två icke-parallell corpora för oövervakad språk stil överföring. Shen m.fl. (Shen m.fl.) 2017) föreslå en kodare-dekoder struktur med kontradiktorisk utbildning för att lära sig detta utrymme. Följer samma linje, Melnyk et al. (Melnyk m.fl.) 2017 ) införa innehåll bevarande förlust och klassificering förlust för att förbättra överföringen prestanda. Fu m.fl. (Fu m.fl.) 2018) föreslå att använda en multidekoder för olika stilar och en discriminator för att lära sig en delad innehållskod. Zhang m.fl. (Ye Zhang 2018) använder också liknande struktur genom att använda delad och privat kodare. I ett nyligen utfört arbete, Prabhumoye et al. (Shrimai Prabhumoye 2018) introducera för att mala meningen i översättningsmodell, sedan tillämpa kontradiktorisk utbildning för att få önskad stil. Det som skiljer oss från tidigare verk är att vi behöver genererade snygga beskrivningar för att matcha det visuella innehållet. Dessutom är den stil som överförs i vårt arbete mer abstrakt i stället för explicita stilar som känslor, kön eller författarskap i tidigare verk. Bildbeskrivningsgenerering. Flera verk har föreslagits för att generera bildbeskrivningar med hjälp av parade bildbeskrivningsdata (Vinyals et al. År 2015; Krause m.fl. Detta beslut träder i kraft den tjugonde dagen efter det att det har offentliggjorts i Europeiska unionens officiella tidning. År 2017).................................................................................................. För att öka naturligheten och mångfalden av genererade beskrivningar, ) tillämpa kontradiktorisk utbildning metod för att utbilda en utvärderare för att poängsätta kvaliteten på genererade beskrivningar. Chen och Al. (Chen m.fl.) 2017) föreslå ett kontradiktoriskt utbildningsförfarande för att anpassa bildtextstilen med hjälp av oparerade bilder och bildtexter. Ett nytt mål föreslås i (Dai och Lin 2017) för att öka distinktionen hos skapade bildtexter. Å andra sidan finns det några verk som föreslås för att öka attraktiviteten och stilen i de genererade beskrivningarna. Zhu m.fl. Anpassa boken och motsvarande filmsläpp till en berättelseliknande beskrivning av det visuella innehållet. Denna metod bevarar dock inte det visuella innehållet. Matthews m.fl. (Mathews, Xie och He 2016) föreslår övergången RNN att generera bildtext med positiva och negativa känslor, vilket kräver övervakning på ordnivå och kanske inte kan skalas. Nyligen, Gan et al. (Gan m.fl.) 2017b) undersöka för att generera taggberoende bildtext genom att utöka viktmatrisen för LSTM för att överväga tagginformation. Följande verk StyleNet (Gan et al. 2017a ) utforskar för att bryta LSTM matris för att införliva stilinformation. En viktig skillnad är att vi utnyttjar en godtycklig elegant enspråkig corpus som inte paras ihop med någon bild dataset som mål corpus istället för att använda parade bilder med elegant mark sanning. Det som mest liknar vårt arbete är (Mathews, Xie, och He 2018), de stora skillnaderna är att vi inte utnyttjar de språkfunktioner som POS tagg av corpus och vi inte förbehandla mål corpus för att göra det liknar källan. Vårt tillvägagångssätt slutar med minimal pre-process av mål corpus. Målet med elegant bildbeskrivning Generation (IDG) är att generera en naturlig språkbeskrivning d T i utrymme D T ges en bild I i bildrymden I. Stilen i beskrivningen är implicit fångas i beskrivningen utrymme D T, där vi använder subscript T för att betona målstilen. Det finns två inställningar för att lära sig en snygg IDG-modell. I övervakad snygg IDG, vi får en utbildning dataset T ) är ett par bild och dess mål elegant beskrivning prov från den gemensamma distributionen p(I, D T ). Målet är att lära sig den villkorliga distributionen p(D T  på I) med hjälp av D så att vi kan generera snygga bildbeskrivningar för en inmatningsbild. Oöverträffad snygg IDG. I oövervakade snygga IDG får vi två träningsdataset där S kallas källdomänen som är typiskt ostyrig. , där motsvarande bilder inte är tillgängliga. Därför betraktas inlärningsuppgiften som oövervakad. Målet med oövervakad elegant IDG är att lära sig den villkorliga distributionen p(D T) med hjälp av D S och D T. Obesudlad elegant IDG är ett dåligt föresatt problem eftersom det handlar om att lära sig den villkorliga distributionen p(D T  tillI) utan att använda prover från den gemensamma distributionen p(I, D T ). Därför är det svårt att lära sig en oövervakad snygg IDG-funktion utan att utnyttja några användbara antaganden. Under den oövervakade inställningen förenklas dock insamlingen av utbildningsdata avsevärt: man skulle kunna koppla ihop en allmän bildbeskrivningsdatauppsättning (t.ex. MS-COCO dataset (Lin et al. 2014) ) med en befintlig corpus av målstil (t.ex. några romantiska romaner) för lärande. En lösning på det oövervakade problemet skulle kunna göra det möjligt för många snygga program för bildbeskrivningsgenerering. Antaganden. För att ta itu med den illa placerade oövervakade snygga ODG problem, gör vi flera antaganden illustrerade i Figur 2. Vi utgår först från att det finns ett latent utrymme Z ger en gemensam grund för att effektivt kartlägga till och från bildrymden I, källbeskrivningen utrymme D S, och målet elegant beskrivning utrymme D T. Från latent utrymme till beskrivning utrymme, antar vi att det finns en källa beskrivning generation funktion G S (z)  på D S och ett mål elegant beskrivning generation funktion G T (z) D T. Från icke-latent utrymme till latent tempo, antar vi att det finns en bild kodare E I (I) Z och en målbeskrivning kodare E T (d T ) Z. Vårt mål är att lära sig generationsfunktionerna (G T och G S ) och kodningsfunktionerna (E I och E T ) från de oövervakade snygga IDG träningsdata D S och D T. Observera att detta är en utmanande inlärningsuppgift om G T och G S är helt oberoende av varandra. Därför antar vi att G T och G S delar förmågan att beskriva samma sakinnehåll men med olika stilar. När dessa funktioner lärt sig, kan vi helt enkelt först koda bilden I till en latent kod med E I och sedan använda G T för att generera en snygg bildbeskrivning. Med andra ord ges den snygga bildbeskrivningen av G T (E I)). Vi modellerar den villkorliga fördelningen som p(D T  och I) = δ(G T (E I (I))), där δ är deltafunktionen. Inspirerade av framgången med djupt lärande modellerar vi både generations- och kodningsfunktioner med hjälp av djupa nätverk. Specifikt, vi modellerar E I med hjälp av en djup convolutional neural network (CNN) (Krizjevsky, Sutskever, och Hinton 2012) och modell E T, G T, och G S med recidiverande neurala nätverk som illustreras i Figur 3. Vi använder även Skip-Thought Vectors (STV) till modell E T. För G T och G S använder vi Layer Normalized Long Short Term Memory Unit (LN-LSTM) som deras återkommande modul (Ba, Kiros, och Hinton 2016; Hochreiter och Schmidhuber 1997). Träningsskiss. Med källdomänen D S, kan vi träna z S = E I (I) och d S = G S (z S ) gemensamt genom att lösa den övervakade IDG inlärningsuppgiften, där z S är den inlärda latenta representationen i källdomänen. Å andra sidan, med måldomänen dataset D T, kan vi träna tillsammans genom att lösa en oövervakad beskrivning rekonstruktion inlärning uppgift, där z T är den inlärda latent representation i måldomänen. För att säkerställa att det latenta utrymmet delas (dvs. z T  på Z och z på Z), antar vi vidare att generationen fungerar G S och G T delar de flesta av sina parametrar. Domänskiktsnorm. Speciellt antar vi G S och G T dela alla parametrar utom de i deras lager norm parametrar (Ba, Kiros, och Hinton 2016). Med andra ord, domänbeskrivning generatorer (G S och G T ) bara skjuta upp i lager norm parametrar. Vi kallar detta viktfördelningssystem för systemet med domänskiktsnorm (DLN). Intuitionen bakom DLN är att uppmuntra den delade vikten att fånga det faktiska innehållet mellan två domäner medan skillnaderna (dvs. stilar) fångas i lager norm parametrar. Denna design hjälper G T att generera beskrivningar som är relaterade till bildinnehållet även utan övervakning av motsvarande bilder under utbildning. Utbildning E I och G S via övervakad IDG. Målet med övervakad bild beskrivning generation är att lära p(D S  på I) genom att använda D S. G S består av en inbäddningsmatris  på W som kartlägger indata text x k till en vektor e k, en LN-LSTM modul, och en utgångsmatris  på V som kartlägger dolda tillstånd för att förutsäga token. Formellt, där h k är den dolda funktionen i LN-LSTM, k  till {-1. .. m − 1} är tid steg av beskrivning med längd m, och 1{} betecknar operatören för en varm kodning. För att träna nätverket, minimerar vi summan av kors-entropi av korrekta ord enligt följande, där x k är k th ord i marken sanning mening. Utbildning E T och G T via snygg bildbeskrivning Rekonstruktion. G T innehåller LN-LSTM-modulen, samma utgångsmatris och inbäddningsmatris som används i G S. Formellt, där d T är målstilens bildbeskrivning. För att träna nätverket, minimerar vi återuppbyggnad felet enligt följande, där d k T är k th ordet i målstil bildbeskrivningen. Relatera G S och G T via Domain Layer Norm. Vi relaterar G S och G T genom att dela alla vikter utom lagernormparametrar i LN-LSTM. Detaljer inom LN-LSTM visas i bild 4, där lagernormen (LN) appliceras på varje grind av LSTM. Ta inmatningsgrinden som exempel:î whereî k och i k är de normaliserade och onormaliserade inmatningsgrindarna, dvs, ih är två projektionsmatriser som kartlägger inbäddningsvektorn och det tidigare dolda tillståndet i samma figur 2: Vi gör flera antaganden för att hantera den utmanande oövervakade snygga bildbeskrivningen generationsproblem. Vi antar först att det finns en delad latent utrymme Z så att en latent kod z  på Z kan kartläggas till källbeskrivning utrymme D S och målet elegant beskrivning utrymme D T via G S och G T. Vi antar också att det finns en snygg bild beskrivning inbäddning funktion E T som kan kartlägga en snygg beskrivning till en latent kod. Slutligen antar vi att det finns en bild inbäddande funktion E I som kan kartlägga en bild till en latent kod. När dessa funktioner lärt sig av data kan vi generera en snygg bildbeskrivning för en bild genom att tillämpa E I och G T sekventiellt. Men äntligen kom tiden för dem att återvända till England, kungen, med sina visa män och modiga riddare, satte segel tidigt i dagdimensionen. LN-operationen omvandlar alla indata a till en normaliserad outputâ enligt följande, där a i betecknar ith-inmatningen i vektorn a, p h är dimenteringen av indata a, μ och σ är medelvärdet och standardavvikelsen för indata a, g och b är skalnings- och skiftningsvektorer (dvs, lagernormparametrar) inlärda från data. Vi utbildar hela nätverket genom att gemensamt minimera den övervakade IDG förlust L S och den oövervakade bild beskrivning rekonstruktion förlust L T med förbehåll för den arkitektoniska begränsningen satt till G S och G T som nedan, där λ är en hyperparameter. Utökning till nya målstilar. Med tanke på en modell med parametrar  och en måldomän, syftar vi till att anpassa den till en ny måldomän (dvs. stil) genom att utvidga V och W till V och W för att rymma nya vokabulär och finjustera de återstående parametrarna till E I, E T, G S och G T. Därför definierar vi en ny förlustfunktion som: där λ 1 och λ 2 är hyperparametrar. Den legalisering ) kan inte tillämpas. Det är inte heller lämpligt att beräkna dessa mått mellan eleganta meningar och otyglad mark sanning eftersom målet med elegant beskrivning generation är att ändra ordet användning samtidigt bevara viss semantisk relevans mellan den eleganta beskrivningen och bilder. Vi föreslår innehållslikhet för att utvärdera den semantiska relevansen mellan genererade eleganta meningar och den otyglade grundsanningen. För att beräkna innehåll likhet, definierar vi C S som mängden substantiv i marken sanning (källa domän), och C S som föreningen mellan C S och synonymer för varje substantiv i C S, för modellen kan beskriva samma objekt med olika ord (t.ex., kopp och mugg). Liknande logik tillämpas på C T och C T i den genererade beskrivningen (måldomän). Vi beräknar: Vi tar f-score av p och r som innehållet likhet poäng. Den totala innehållslikviditetspoängen är i genomsnitt över testdata. Detta beror på att vi antar snygga beskrivningar bör åtminstone innehålla objekt som visas i bilden. Vi rapporterar också SPICE (Anderson m.fl. 2016) poäng, som beräknar f-score av semantiska tuples mellan otyglad mark sanning och genererade eleganta beskrivningar. Slutresultatet är genomsnitt för alla testdata. Metrisk av stilfullhet. Vi använder överföringsnoggrannhet för att utvärdera stilfullheten i vår genererade beskrivning. Överföringen noggrannhet används ofta i språkstil överföring uppgift (Shen et al. År 2017; Melnyk m.fl. Detta beslut träder i kraft dagen efter det att det har offentliggjorts i Europeiska unionens officiella tidning. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. Det mäter hur ofta beskrivningar har etiketter av målstil på testdataset baserat på en förtränad stil klassificerare. Vi följer definitionen av överföringsnoggrannhet i (Fu et al. 2018), vilket är där s är resultatet sannolikhetspoäng för klassificeringen. Vi definierar R T = Nvt Nvs som vår överföring noggrannhet, vilket är fraktionen av antal tester N vs data i källdomänen och antal tester data som korrekt överföra beskrivningen med målstil N vt. Slutresultatet är genomsnitt för alla testdata. Mänsklig utvärdering. Svårigheten att skapa elegant mening i oparade inställning är att förbli semantisk relevans. Därför genomför vi en mänsklig studie på Amazon Mechanical Turk (AMT) oberoende för varje metod för att bedöma den semantiska relevansen mellan bild och beskrivning. För varje modell, vi slumpmässigt prov 100 bilder sedan generera snygga beskrivningar för varje stil. Två arbetare uppmanas att rösta semantiskt med följande uppmaning: Med tanke på en bild och ett stycke ur boken (Vår stilrena corpus), hur väl relaterar styckets innehåll till objekt i bilden. Arbetstagare tvingas rösta från orelaterade till relaterade. Kriterierna för kvalificerade arbetstagare har minst 100 framgångsrika HIT med 70 % acceptansfrekvens. Det totala antalet HIT är 2400. För varje HIT är optionsordningen randomiserad. Arbetare tvingas rösta och alla svar räknas utan aggregering. Resultatet av det första försöket sammanfattas i jämförelse. Det är värt att notera att den perfekta överföringsnoggrannheten kanske inte är den bästa eftersom modellen girigt kan generera ordförrådet som används i måldomänen och avvika från bildinnehållet. Därför är en idealisk snygg beskrivning den med det höga innehållet likhet poäng och en acceptabel överföring noggrannhet. Vår DLN överträffar genomgående andra baslinjer i termer av alla semantiska besläktade mätvärden med en marginell minskning av överföringsnoggrannheten på de flesta datauppsättningar. Alla baslinjer är bättre än slumpmässiga, vilket tyder på att alla baslinjer kan generera semantisk-relaterad beskrivning i viss utsträckning. Vi observerar NST har stora n p och n r i saga. Vi tror att detta beror på att NST tenderar att generera långa meningar. För varje stil (Fairy, Humor, Romance och Lyrics) är den genomsnittliga meningslängden för NST (119, 109, 103, 84) medan den för DLN är (38, 54, 41, 97). Därför är det möjligt att NST genererar fler substantiv i den ostyriga grundsanningen. Vi rapporterar också DLN:s och DLN-RNN:s resultat om otymplig genereringsuppgift i tabell 2. Vi beräknar BLEU-4, METEOR och CIDER poäng mellan genererade meningar och otyglad mark sanning. I kombination med resultatet av elegant beskrivningsgenerering i tabell 1 kan vi dra slutsatsen att den föreslagna domänlagernormen kan gynna den oparerade bilden till snygg beskrivning eftersom vi har en bättre modell i konventionell bild till textgenerering. Resultatet av mänsklig undersökning visas i bild 5, vi rapporterar det bästa av vår modell i tabell 1 visar att den beskrivning som skapas av DLN är relaterad till bilder. Observera att målet med genererad elegant beskrivning inte är att matcha varje faktisk aspekt av bilder, det bör bättre bedömas om beskrivningen är relaterad till bilden om bilden visas i mål corpus. Flerstiligt. Vi utökar successivt DLN till att omfatta tre måldomäner (fairy, romans, texter) för att visa flexibiliteten i vår modell. Med andra ord följer vi Eq 17 för att träna källa och saga stil då inkluderar romantik och texter stil, som betecknas som DLN-Multi. För att generera beskrivningen använder vi samma måldekoder med en annan stil-specifik inbäddning matris, lager norm parametrar, och utgångsmatris. Vi genomför en annan mänsklig studie genom att be fem arbetare att bestämma den bästa beskrivningen som ges följande prioriteringar: innehåll, stil och naturlighet. Detta tvingar arbetarna att välja den bättre om de två alternativen är lika relaterade till bilder. Vi provar 100 bilder för varje och använder samma kriterier för att välja arbetstagare. Resultatet presenteras i tabell 3, som visar DLNMulti prestanda är konkurrenskraftig för DLN. DLN-Multi ger alltså användarna möjlighet att inkludera ny stil i den befintliga modellen, vilket är en ny funktion som inte rapporteras i andra baslinjer. Diskussion: överföringsnoggrannhet och domänskifte. Vi observerar en nedgång i överföring noggrannhet på källan till humor överföring i DLN, och vi tror att detta är relaterad till omfattningen av domänskifte. För att kvantifiera detta analyserar vi andelen delat substantiv mellan källan (V src = 6.2k) och måldomänen, som är (50%, 68%, 74%, 60%) för texter, romantik humor och saga. För överföringen från källkoden till humordomänen står de delade substantiven för över 70 % substantiv i källkodsdomänen, vilket innebär att domänbytet mellan källan och humorn är mindre än andra. Detta gör det svårare för klassificeringsföretaget att särskilja två domäner. Därför är överföringsnoggrannheten för källan till humor lägre. Vi noterar Random få lägsta överföring noggrannhet i texter stil och vi tror att detta beror på att provtagning ord från ordförråd enbart texter inte kan ha meningar med ny linje symbol (dvs.. ;), vilket är en viktig tabell 3: Resultat av DLN och DLN-Multi. CS, S, T och P är innehåll likhet, SPICE, tansfer noggrannhet och mänskliga preferenser poäng. Totalt sett är DLN-Multi konkurrenskraftiga mot DLN i alla mått. funktion för att klassificeras som snygg. Vi föreslår en ny oövervakad snygg IDG-modell via domänlagernorm med möjlighet att successivt inkludera nya stilar. Experimentella resultat visar att våra eleganta EDG-resultat föredras mer av människor. Vi planerar att invesitgate den mellanliggande stil som genereras av interpolering av domänlager norm parameter och ta itu med fluensen av genererade meningar i framtiden.  Innehållet i detta kompletterande material sammanfattas enligt nedan: • Datastatistik • Genomförandedetaljer av baslinjer och DLN • Gränssnitt för mänsklig utvärdering • Fler kvalitativa exempel För romantik och humor data, vi slumpmässigt prov på 50000 passager från BookCorpus. För saga, kröp vi från webbplatsen 1 och även prov 50000 passager från den. För landets låttexter, använder vi data som släpps av Kaggle 2 och använder alla country låttexter som vår corpus. Bild 7 visar ordanvändningen för varje corpus. • Neural Story Teller : NST innehåller två separata moduler: bild till bildtext i källdomänen och elegant berättelsedekoder i måldomänen. Den första modulen används för att extrahera källdomänens textrepresentation av bilden. De använder förtränade bildtextning anpassning (Kiros, Salachutdinov, och Zemel 2014) på MS-COCO för att extrahera topp N granntexter för en bild. Bildens textrepresentation beräknas genom att i genomsnitt använda den kodade vektorn för övre N-rubriker. Den andra modulen används för att rekonstruera måldomänens textrepresentation till original stilrena berättelsepassagen, där en dekoder tränas för att rekonstruera textrepresentationen av elegant berättelsepassagen till den ursprungliga stilrena sagopassagen. Textens representation här är också den skip-tanke kodade vektorn. För att generera beskrivningen för given bild, det först subtraherar medelvärdet av alla skip-thought kodade MS-COCO bildtext och lagt till medelvärdet av skip-thought kodade snygga berättelse passage för att omvandla källan textual representation till målet en; sedan, mata den till den andra modulen för att generera den eleganta berättelsen. • StyleNet (Gan et al.) 2017a): Vi återinför StyleNet som en av våra baslinjer. The StyleNet är baserad på factorized LSTM, som faktoriserade vikter kartläggning ingångar till dold representation till  på W = U SV, där U  till R pe×pm, S  till R pm×pn och V  till R pn×p h, där pe,p h är dimensionen av inbäddning och dold storlek, och pm,pn är dimensionen av matrisen. Den innehåller en språkmodell tränad på mål corpus och en källbild till bildtext dekoder där varje faktoriserad LSTM är associerad med en stil matris Ss och St. Under inference, ersätter den käll stil matris med mål stil matris och generera beskrivningar. NST. Vad är det? Vi följer den ursprungliga inställningen och genomförandet 3 och utbildar dekoder på vår corpus till konvergera. Vi ställer in den maximala längden av textdata är lika med 100. Det här är DLN. Vi använder samma textlängd som används i NST. Vi använder de vanligaste 10000 ordförråden i källdomänen. För måldomän använder vi 10000 ordförråd för texter och 15000 ordförråd för romantik, humor och sagokorpora. 1 http://www.loyalbooks.com 2 https://www.kaggle.com/gyani95/380000-texter-frommetrolyrics 3 https://github.com/ryankiros/neural-storyteller Vi använder skips-thought vektor som släpps av Tensorflow (Abadi et al. 2016) som vår ET. Vi följer den ursprungliga NST implementationen för att stapla uni-skip och bi-skip skips-tanke vektor för att få 4800 dimension funktion för text. Vi använder pre-split träningsset i VGPAra (Krause et al. År 2017).................................................................................................. Vi använder ResNet50 från Keras 4 som vår EI. Dimensionen i vår latenta rymd är 620, vilket är samma som vårt ord inbäddar dimension. I genomförandet rättar vi EI och ET och bifogar projektionsmatrisen P I och P T som de sista skikten. Under träningen uppdaterar vi bara projektionsmatrisen. Vi initierar alla viktmatriser genom enhetlig initiering. Antalet dolda enheter som används i LN-LSTM är 1000, och vi optimerar vår modell av Adam optimizer (Kingma och Ba 2015) med start inlärningshastighet som 0,001 och förfallen faktor som 0,5 var 80:e. Vi följer NST för att använda lutning klippning = 5 i DLN. Träningsepoken är 100 med satsstorlek som 64. Vi väljer λ = 0,5 för DLN-träning. DLN-Multi Vokabulärstorleken för varje domän är 5500. Vi väljer λ1 = 0,2 och λ2 = 0,1. Andra inställningar och hyperparamters är samma som DLN utom legaliseringsbegreppet Vi implementerar "W by" W = "W", där "W" är konkatetering av matrisen och "W" är den nya vokabulären som används i den nya stilen. I subtraktionen, vi bara subtrahera  till W del i W för att matcha dimensionen av matrisen. Liknande logik kan tillämpas på  och V. Vi använder projiceringsvikten som jag lärde mig under förträningen och vikten under utbildningen av DLN-Mutli som vår E I och E I. StyleNet För att träna StyleNet använder vi samma dolda enhet av LSTM som DLN och följer den iterativa utbildningsmetod som rapporterats i originaltidningen förutom att vi också uppdaterar aktievikten när vi tränar språkmodell på mål corpus, som vi fann denna ändring har bättre konvergens i vår uppgift som visas i Fig 8. Vi tillämpar också vår inlärningsmiljö för förfall, som vi fann har snabbare konvergens. Under inference följer vi StyleNet och NST genom att använda strålsökning med en bjälkbredd på 5 och den okända token för alla metoder. Förtränad klassificering i överföringsnoggrannhet. För den klassificering som används i utvärderingen använder vi convolutional network som föreslås i (Kim 2014). Vi utbildar klassificeraren för att uppnå över 99% noggrannhet för att skilja DS och DT. Vi utförde två mänskliga utvärderingsuppgifter med Amazon Mechanical Turk 5 plattform. Den första var en relevant uppgift och frågade hur väl beskrivningarna relaterar till bildinnehållet på en fyranivåskala. Vi ger skärmbilder av de instruktioner som ges till arbetstagare i Bild 9. Den andra studien syftar till att jämföra attraktionskraften av beskrivningar som genereras av DLN-läget och DLN-Multi. Bild 9 är skärmdumparna som används för detta experiment. För att säkerställa tillförlitliga resultat och undvika arbetstagare som väljer slumpmässigt får endast arbetstagare med mer än 70 % noggrannhet och 100 framgångsrika HITs tidigare delta i studien. I den andra mänskliga studien tillhandahåller vi också en overksam text som en fälla för att övervaka märkningens kvalitet. Resultatet visar att nästan inga fälla alternativ väljs, vilket indikerar försöksresultat för att vara tillförlitliga. Vi visar fler kvalitativa exempel på stilren bildbeskrivning genererad av DLN i bild 11. Detta är precis vad han spelade på sin tennisbana. Han kände en överväldigande medkänsla för honom, och när du slog honom. Svagt relaterat Utvärdera relevansen mellan bilden och stycket nedan Du får en bild och ett stycke från romaner. Utvärdera hur väl styckets innehåll relaterar till objekt som visas i bilden. Till exempel, om det finns hus och hundar i bilden, ord som hund, hus, eller andra semantiska relaterade substantiv(Ex. djur, katt, byggnad, lägenhet, hem) anses ha samband med bildinnehållet. Innebörden av varje alternativ förklaras nedan. Relaterad: De flesta substantiv i stycket är relaterade till bildinnehållet. Delvis relaterade: Omkring hälften substantiv i stycket är relaterade till bildinnehåll. Svagt relaterat: Några substantiv i stycket är relaterade till bildinnehåll Orelaterat: Inget substantiv i stycket är relaterat till bildinnehåll. Figur 9: En skärmbild av mänsklig undersökning av semantisk relevans av genererade stycken. Fairy sago Bild som ska beskrivas: Sed ut perspiciatis unde omnies iste Klockan tornet gjorde väldigt mycket som Mary, och knappast hade tagit så mycket av det att det skulle vara snart efter alla älvor började vara mest angelägna om allt detta. Det finns en kyrka på torget, som, från huset, rummen i städerna; och den andra gången, två och människor, varje dag görs; Punkterna nedan ska beskriva den givna bilden med en specifik stil (t.ex. berätta en romantisk historia baserad på bröllopsceremoni bild). Välj det mest attraktiva stycket baserat på följande PRIORITERINGAR: 1. Innehåll: Hur väl beskriver stycket objekt som visas i bilden. Till exempel, om hunden och huset visas i bilden, välj det stycke som innehåller fler ord som hund, hus, eller andra semantiska relaterade ord (Ex. djur, katt, byggnad, lägenhet) 2. Stil: Hur väl matchar stycket den specifika stilen. 3. Vad är det som händer? Naturlighet: Så likt paragrafen är till mänskligt språk. Mer flytande och mer grammatiskt korrekt stycke är bättre.
REF föreslår att bildens stil extraheras och kontrolleras genom en normalisering av domänskiktet.
Unsupervised Stylish Image Description Generation via Domain Layer Norm
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}