Minne (LSTM) recidiverande neurala nätverk över hierarkiska grafstrukturer. Istället för att lära LSTM-modeller över de prefixade strukturerna föreslår vi att ytterligare lära sig de mellanliggande tolkningsbara grafstrukturerna på ett progressivt och stochastiskt sätt från data under LSTM-nätverksoptimeringen. Vi kallar alltså denna modell för den strukturutvecklande LSTM. I synnerhet, börjar med en inledande element-nivå graf representation där varje nod är en liten dataelement, den struktur-evolverande LSTM gradvis utvecklar multi-level graf representationer genom att stokastiskt slå samman graf noderna med hög kompatibilitet längs staplade LSTM lager. I varje LSTM-lager uppskattar vi kompatibiliteten hos två anslutna noder från deras motsvarande LSTM-portutgångar, som används för att generera en sammansmältningsannolikhet. Den kandidat graf strukturer skapas följaktligen där noderna grupperas i klichéer med deras sammanslagning sannolikheter. Vi producerar sedan den nya grafstrukturen med en Metropolis-Hasting algoritm, som minskar risken för att fastna i lokala optimala genom stokastisk provtagning med en acceptans sannolikhet. När en graf struktur accepteras, en högre nivå graf konstrueras sedan genom att ta de partitionerade kliquer som sina noder. Under den evolverande processen blir representationen mer abstrakt i högre nivåer där överflödig information filtreras bort, vilket möjliggör en effektivare spridning av långdistansdataberoenden. Vi utvärderar effektiviteten hos strukturevolverande LSTM vid tillämpning av semantisk objekttolkning och visar sin fördel jämfört med toppmoderna LSTM-modeller på standardriktmärken.
Att ytterligare utforska multi-level korrelationer mellan bildregioner, Liang et al. REF föreslog en strukturutvecklande LSTM som kan lära sig grafstrukturen under optimeringen av LSTM-nätverket.
Interpretable Structure-Evolving LSTM
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}