Abstrakt. Temporal relationell resonemang, förmågan att länka meningsfulla omvandlingar av objekt eller entiteter över tid, är en grundläggande egenskap hos intelligenta arter. I detta dokument introducerar vi en effektiv och tolkningsbar nätverksmodul, Temporal Relation Network (TRN), utformad för att lära sig och resonera om tidsberoenden mellan videoramar på flera tidsskalor. Vi utvärderar TRN-utrustade nätverk på aktivitetsigenkänning uppgifter med hjälp av tre senaste video dataset -Något, Jester, och Charades -som i grunden beror på temporal relationell resonemang. Våra resultat visar att den föreslagna TRN ger konvolutionella neurala nätverk en anmärkningsvärd kapacitet att upptäcka tidsmässiga relationer i videor. Genom endast glest provade videoramar, TRN-utrustade nätverk kan exakt förutsäga mänskliga objekt interaktioner i något-någonting dataset och identifiera olika mänskliga gester på Jester dataset med mycket konkurrenskraftiga prestanda. TRN-utrustade nätverk överträffar också tvåströmsnät och 3D-konvolutionsnät när det gäller att känna igen den dagliga verksamheten i Charades dataset. Ytterligare analyser visar att modellerna lär sig intuitivt och tolkningsbart visuellt sunt förnuft kunskap i videor 1.
Zhou m.fl. föreslog ett TrN-referensdokument (Troral Relation Network) för att lära sig och resonera om tidsmässiga beroenden mellan videoramar vid flera tidsskalor.
Temporal Relational Reasoning in Videos
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}