Detta dokument beskriver ett system för att koppla samman ljud och ord i sammankopplade flerdimensionella vektorutrymmen. Det akustiska utrymmet representeras med hjälp av ankarmodeller och partitioneras med hjälp av agglomer ative kluster. Det semantiska utrymmet är modellerat av en hierarkisk multinomiell klustermodell. Noder i ett rum är kopplade av probabilistiska modeller till det andra rummet. Med dessa länkade modeller hämtar användare ljud med naturligt språk, och systemet beskriver nya ljud med ord. I det här dokumentet beskrivs en metod för att koppla samman ljud med ord och ord med ljud. Med tanke på en beskrivning av ett ljud, systemet finner ljudsignaler som bäst passar orden. Således, en användare kan göra en begäran med beskrivningen "ljudet av en galopperande häst", och systemet skulle svara genom att presentera recordi gs av en häst som springer på olika ytor, och möjligen av MusIcal bitar som låter som en häst galoppering. Omvänt, med tanke på en ljudinspelning, beskriver systemet det ljud eller den miljö i vilken inspelningen gjordes. Därför säger systemet, med tanke på en inspelning som gjorts utomhus, att inspelningen gjordes på en hästgård där flera hundar bor. Vi bygger ett system som har dessa funktioner, kallad SAR (semantisk-audio hämtning), genom att lära sig kopplingen mellan ett semantiskt utrymme och ett hörselutrymme. Semantiska rymden kartlägger ord i ett högdimensionellt probabilistiskt rum. Akustiskt utrymme beskriver ljud med en vektor för multidimension 1. I allmänhet kommer "kopplingen mellan dessa två utrymmen att vara många för många. Hästljud kan till exempel inbegripa fotsteg och neighs. Figur 1 visar hälften av SAR; hur man hämtar ljud från ord. Anteckningar som beskriver ljud samlas i en hierarkisk semantisk modell som använder multinomiska modeller. De ljudfiler, eller akustiska dokument, som motsvarar varje nod i den semantiska hierarkin är modellerade med Gaussiska blandningsmodeller (GMMs). Med tanke på en semantisk begäran identifierar SAR den del av det semantiska utrymmet som bäst passar in på begäran, och mäter sedan sannolikheten för att varje ljud i databasen passar in i figur 1 : SAR modellerar allt semantiskt utrymme med en hierarkisk samling av multinomiska modeller, varje del i den semantiska modellen är kopplad till likvärdiga ljuddokument i akustiskt utrymme med en GMM. GMM är kopplad till denna del av det semantiska rummet. De troligaste ljuden returneras för att tillfredsställa användarens semantiska begäran. Figur 2 visar den andra halvan av SAR; hur man skapar ord för att beskriva ett ljud. SAR analyserar ljudsamlingen och bygger modeller för godtyckliga ljud som kallas ankare. Alla ljud i databasen beskrivs av hur väl de modelleras av dessa ankarljud. Detta tillvägagångssätt ger oss en flerdimensionell representation av något ljud, och ett avståndsmått som tillåter agglomerativ klusterbildning i det akustiska utrymmet. Med tanke på en akustisk begäran identifierar SAR den del av det akustiska utrymmet som bäst passar för begäran. Varje del av det akustiska utrymmet har en associerad multinomisk ordmodell, och från denna modell äter SAR gener ord för att beskriva frågeljudet. SAR-algoritmen illustreras med en sluten uppsättning akustiska och semantiska dokument om djur. Sex CD-skivor (#12, 30, 34, 35, 37,38) från BBC Sound Effects Library innehöll 215 sepa-hastighetsspår, med 330 minuters ljudinspelningar av djurljud Dessutom bildar CD:n (t.ex. "Horses I") och spårbeskrivningen (t.ex. "En häst äter hö och rör sig") en unik semantisk etikett för varje spår. Ljudet från CD-spåret och liner anteckningar bildar ett par akustiska och semantiska dokument som används för att träna SAR-systemet. Det finns många multimedia hämtningssystem som använder en kombination av ord och / eller exempel för att hämta ljud (och video) för användare. Ett effektivt sätt att hitta en bild av rymdfärjan är att skriva in orden "space shuttle jpg" i en textbaserad webbsökmotor. Det ursprungliga Google-systemet visste inte om bilder, men lyckligtvis, många människor skapade webbsidor med frasen "rymdfärja" som innehöll en JPEG-bild av skytteln. Mer nyligen, både Google och AltaVista för bilder, och Compuson ics för ljud, har byggt system som automatiserar dessa sökningar. De tillåter människor att leta efter bilder och ljud baserat på närliggande ord. SAR-verket utökar dessa söktekniker genom att konsidera den akustiska och semantiska likheten mellan ljud för att möjliggöra en informations-hämtning uppgift och hävdade att de ord som skrivits av en mänsklig notator som beskriver en bild (t.ex. "en ros") ofta pro vide infonnation som kompletterar den uppenbara infonnationen i bilden (den är röd). ,..................................................... SAR förbättrar två aspekter av Barnards tillvägagångssätt. F r:st, de semantiska och bildfunktioner har inte samma probabIltty distributioner. Hofinanns algoritm antar att bildfunktioner kan beskrivas av en multinomal distribution, medan en Gaussian förmodligen är lämpligare. För det andra, och kanske mer impor tant, finns det ingenting i Hoffianans algoritm som garanterar att de funktioner som används för att bygga varje steg i modellen inkluderar både semantiska och bildfunktioner. Således är algoritmen fri att bygga en modell som helt ignorerar bilden funktioner och kluster "dokument" baserat på endast semantiska funktioner. Problemet med ljudåterhämtning är lättare än bildsökning av två skäl. För det första behöver vi inte lösa problemet med förgrundsbakgrunden (ännu). Människor som vill ha en bild av en tiger usu ally bryr sig inte om om tigern är omgiven av gräs, sand, vatten eller ens en solnedgång Lyckligtvis, i ljudvärlden, kan vi ofta "förutsatt att bara ett ljud är närvarande i taget. För det andra är det svårt att veta vilka egenskaper som bäst kännetecknar en bild. Nyckeln till SAR är att välja en uppsättning funktioner som gör att vi kan t :' lk om matematiska utrymmen för ljud och semantik. I avsnitt 3.1 tar vi hänsyn till vad semantiska drag är, hur vi beskriver ett begrepps position i semantiskt utrymme och hur vi mäter avståndet mellan två begrepp. Avsnitt 3.2 beskriver samma procedur för ljud. I båda fallen har vi en rik grund för tidigare arbete att bygga på. SAR använder multinomiska modeller för att representera och samla en samling semantiska dokument. Sannolikheten för att en docum 9, nt matchar en given multinomial modell beskrivs av L = np i', där p. är sannolikheten att ordet i förekommer i denna typ av docume t, och n. är antalet gånger som ordet i finns i detta dokument. Sannolikheterna P" skiljer sig åt för olika typer av dokument. Således kommer en modell för dokument om kor att ha en relativt hög sannolikhet för att innehålla "ko" och "moo", medan en modell för dokument som beskriver fåglar med hög sannolikhet att innehålla "fjäder". SAR använder samma kluster abstraktionsteknik som används i Bar nards arbete, men tillämpar den bara på semantiska data. Kluster.s-A kluster avdocumenl8 Figur 3: Kluster abstraktion modell beräknar en hierarkisk uppsättning av multinomial modeller (a x ) för att generera kluster av dokument. abstraktion bygger en hierarkisk samling av multinomiska modeller för att beskriva en uppsättning dokument. Denna hierarkiska modell (figur 3)
Det system som presenteras i REF överbryggar det semantiska rummet och det akustiska rummet genom att härleda oberoende hierarkiska representationer av båda.
Semantic-audio retrieval
{'venue': '2002 IEEE International Conference on Acoustics, Speech, and Signal Processing', 'journal': '2002 IEEE International Conference on Acoustics, Speech, and Signal Processing', 'mag_field_of_study': ['Computer Science']}