Under de senaste åren har djupinlärning inte bara genomsyrat forskningsområden för datorseende och taligenkänning utan även områden som akustisk händelsedetektering (AED). Ett av syftena med AED är att upptäcka och klassificera icke-tal akustiska händelser som inträffar i samtal scener inklusive de som produceras av både människor och de objekt som omger oss. I AED, djupt lärande har möjliggjort modellering av detaljrika funktioner, och bland dessa, hög upplösning spektrogram har visat en betydande fördel jämfört med befintliga fördefinierade funktioner (t.ex., Mel-filter bank) som komprimera och minska detaljer. I detta dokument undersöker vi vidare vikten av funktionsextraktion för djupinlärning-baserad akustisk händelsedetektering. AED, baserat på spektrogram-input djupa neurala nätverk, utnyttjar det faktum att ljud har "globala" spektralmönster, men ljud har också "lokala" egenskaper såsom att vara mer övergående eller smidigare i tid-frekvensdomänen. Dessa kan exponeras genom att justera den tid-frekvens upplösning som används för att beräkna spektrogrammet, eller genom att använda en modell som utnyttjar lokalitet leder oss att utforska två olika funktionsextraktionsstrategier i samband med djupt lärande: (1) med hjälp av flera upplösning spektrogram samtidigt och analysera den övergripande och händelsemässigt inflytande för att kombinera resultaten, och (2) införa användningen av konvolutionella neurala nätverk (CNN), en state of the art 2D featuration modell som utnyttjar lokala strukturer, med log power spektrogram ingång för AED. En experimentell utvärdering visar att tillvägagångssätten vi beskriver överträffar vår toppmoderna baslinje för djupt lärande med en märkbar vinst i CNN-fallet och ger insikter om CNN-baserad spektrogramkarakterisering för AED.
I REF visar författarna hur "lokala" mönster kan läras av ett CNN och kan utnyttjas för att förbättra prestandan för detektion och klassificering av icke-tal akustiska händelser som inträffar i konversationsscener, särskilt jämfört med ett FNN-baserat system som behandlar multipla upplösningsspektrogram parallellt.
Exploiting spectro-temporal locality in deep learning based acoustic event detection
{'venue': None, 'journal': 'EURASIP Journal on Audio, Speech, and Music Processing', 'mag_field_of_study': ['Computer Science']}