Hur ser ett typiskt besök i Paris ut? Tar folk först bilder av Louvren och sen Eiffeltornet? Kan vi visuellt modellera en temporal händelse som "Paris Vacation" med hjälp av nuvarande ramar? I den här artikeln undersöker vi hur vi automatiskt kan lära oss temporala aspekter, eller berättelser om visuella begrepp från webbdata. Tidigare försök fokuserar på på varandra följande bild-till-bild övergångar och misslyckas med att återvinna den långsiktiga underliggande historien. Vår nya Skipping Recurrent Neural Network (S-RNN) modell, försöker inte förutsäga varje datapunkt i sekvensen, som klassiska RNNs. Snarare använder S-RNN ett ramverk som hoppar genom bilderna i fotoströmmen för att utforska utrymmet för alla beställda undergrupper av albumen genom ett effektivt provtagningsförfarande. Detta tillvägagångssätt minskar de negativa effekterna av starka kortsiktiga korrelationer, och återställer den latenta historien mer exakt. Vi visar hur våra lärda berättelser kan användas för att analysera, förutsäga och sammanfatta fotoalbum från Flickr. Våra experimentella resultat ger starka kvalitativa och kvantitativa bevis för att S-RNN är betydligt bättre än andra kandidatmetoder som LSTMs på att lära sig långsiktiga korrelationer och återhämta latent storylines. Dessutom visar vi hur storylines kan hjälpa maskiner att bättre förstå och sammanfatta fotoströmmar genom att dra en kort personlig berättelse om varje enskilt album.
Ett av de närmaste verken till vårt kan vara REF, som föreslår Skipping Recurrent Neural Networks (S-RNN), att upptäcka långsiktiga temporal mönster i fotoströmsdata genom att hoppa över bilder genom att lägga till hoppa över operationer till klassiska RNNs.
Learning Visual Storylines with Skipping Recurrent Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}