Vi föreslår ett nytt djupt nätverk för ljudhändelseigenkänning, som kallas AENet. I motsats till tal, ljud som kommer från ljudhändelser kan produceras av en mängd olika källor. Dessutom kräver det ofta att man analyserar en längre tidsperiod på grund av bristen på tydliga underordsenheter som finns i tal. För att införliva denna långsiktiga frekvensstruktur av ljudhändelser, introducerar vi ett konvolutionellt neuralt nätverk (CNN) som arbetar på en stor temporal ingång. I motsats till tidigare arbeten gör detta att vi kan träna ett system för att upptäcka ljudhändelser till slut. Kombinationen av vår nätverksarkitektur och en ny dataförstärkning överträffar tidigare metoder för att upptäcka ljudhändelser med 16 %. Dessutom utför vi överföring lärande och visar att vår modell lärt sig generiska ljudfunktioner, liknande det sätt CNNs lär generiska funktioner på vision uppgifter. I videoanalys, kombinera visuella funktioner och traditionella ljudfunktioner, såsom mel frekvens cepstral koefficienter, leder vanligtvis bara till marginella förbättringar. Istället, kombinera visuella funktioner med våra AENet funktioner, som kan beräknas effektivt på en GPU, leder till betydande prestandaförbättringar på åtgärdsigenkänning och video highlight upptäckt. I video höjdpunkt upptäckt, våra ljudfunktioner förbättra prestanda med mer än 8% över visuella funktioner ensam. Index Terms-konvolutionella neurala nätverk, ljudfunktion, stora ljud händelse dataset, stora inmatningsfält, höjdpunkt upptäckt.
Till exempel, i REF, författarna presenterar en ny djup arkitektur med dataförstärkningsstrategi för att lära sig en modell för ljudhändelser erkännande.
AENet: Learning Deep Audio Features for Video Analysis
{'venue': 'IEEE Transactions on Multimedia', 'journal': 'IEEE Transactions on Multimedia', 'mag_field_of_study': ['Computer Science']}