Voice Activity Detection (VAD) är ett viktigt förbearbetningssteg i varje toppmodernt taligenkänningssystem. Att välja rätt uppsättning funktioner och modellarkitektur kan vara utmanande och är ett aktivt forskningsområde. I detta dokument föreslår vi en ny strategi för att gemensamt ta itu med både funktions- och modellval. Den föreslagna metoden är baserad på en CLDNN-arkitektur (convolutional, Long Short-Term Memory, Deep Neural Networks) som matas direkt med den råa vågformen. Vi visar att med hjälp av rå vågform kan neurala nätverket lära sig funktioner direkt för uppgiften till hands, vilket är mer kraftfullt än att använda log-mel funktioner, speciellt för bullriga miljöer. Dessutom är användningen av en CLDNN, som utnyttjar både frekvensmodellering med CNN och tidsbaserad modellering med LSTM, en mycket bättre modell för VAD jämfört med DNN. Det föreslagna systemet uppnår över 78 % relativ förbättring av False Alarm (FA) vid driftpunkten på 2 % False Rejects (FR) på både rena och bullriga förhållanden jämfört med en DNN av jämförbar storlek tränad med log-mel funktioner. Dessutom studerar vi effekterna av modellens storlek och de inlärda funktionerna för att ge en bättre förståelse för den föreslagna arkitekturen. Voice Activity Detection (VAD) avser processen för att identifiera segment av tal i ett ljuduttryck [1]. Denna uppgift är ofta ett förbearbetningssteg i ett automatiskt taligenkänningssystem (ASR) för att både minska beräkningen och styra användargränssnittet. En typisk VD-system använder en ram-nivå klassificerare med akustiska funktioner för att göra tal / icke-tal beslut för varje ljudram (var tionde 10ms) [2]. Betydande forskning har ägnats åt att hitta de optimala funktionerna för denna uppgift [3, 4, 5], samt den bästa klassificeringen eller modellen att använda [6, 7, 8]. Deep Neural Networks (DNN) är en allmänt använd modell för VAD [6]. Men inspirerade av framstegen i akustisk modellering för tal utforskar vi alternativa djupinlärningsarkitekturer för VAD. Convolutional Neural Networks (CNN) [9] och Long Short-Term Memory (LSTM) återkommande neurala nätverk [10] är populära val eftersom de har visat förbättringar över DNNs för flera taligenkänningsuppgifter [11, 12]. Modelleringen av dessa olika arkitekturer kompletterar varandra. CNN:er är bra på att minska frekvensvariationer, LSTM:er är bra på sekvensmodellering och DNN:s karteringsfunktioner till ett mer åtskiljbart utrymme. För att utnyttja de kompletterande egenskaperna hos dessa system, [13] introducerade "Convolutional, Long Short-Term Memory, Fullt Con-* Författaren utförde arbetet som en praktikant på Google, Mountain View nected Deep Neural Networks" (CLDNNs), få bättre prestanda än någon av dessa arkitekturer individuellt. Eftersom VAD är en sekvensuppgift, anser vi att arkitekturer som modellerar temporalstrukturen, såsom en CLDNN, är bättre än en DNN för denna uppgift. Även om mel-skalan var utformad för att härma de kritiska hörselbanden i det mänskliga örat och har varit framgångsrik i flera talrelaterade uppgifter, problemet med VAD och bullerdetektion något annorlunda än talbehandling. Således, eftersom neurala nätverk är bra på att lära funktioner, vi utforska om lärande direkt från rå vågform har nytta av VAD. I detta arbete föreslår vi att man använder rå vågform CLDNNs för VAD [14]. Vi jämför systemets prestanda med ett standard DNN-system, ett LSTM-system och ett CLDNN-system som alla är utbildade med log-mel-funktioner. Vi visar att detta tillvägagångssätt uppnår över 78 % relativ förbättring (när det gäller FA vid fastställande av FR på 2%) på både rena och bullriga förhållanden jämfört med en standard DNN utbildad med log-mel filterbank energier som ingång. Dessutom analyserar vi dessa resultat och visar nyttan av tidsbaserad modellering för VAD med CLDNN, samt betydelsen av inlärningsfunktioner för den uppgift som ligger till hands med den råa vågformen. Resten av pappret är som följer. I Avsnitt 2 beskriver vi de CLDNN- och råvågformsarkitekturer som föreslås, samt LSTM- och DNN-referensarkitekturerna. Den experimentella installationen beskrivs i avsnitt 3. Avsnitt 4 ägnas åt att presentera och analysera resultaten och, slutligen, Avsnitt 5 avslutar dokumentet. I detta avsnitt beskriver vi de neurala nätverk arkitekturer vi jämför för VAD, nämligen DNNs, LSTMs, CLDNNs och rå vågform CLDNNs. För varje arkitektur utforskar vi effekterna av modellstorleken och väljer sina konfigurationer för att få modeller av storlek 30k, 100k och 200k parametrar. DNN har visat sig ge goda resultat för VAD [6]. Den baslinje DNN modell som används i detta papper är en standard feedfore fullt anslutna neurala nätverk med k dolda lager och n dolda enheter per lager. För varje dolt lager används en rektifierad linjär enhet (ReLU). Utdataskiktet i vår DNN-modell är ett softmax med 2 enheter för att förutsäga tal och nonspeech. Ingången i denna modell är en 40-dimensionell log-mel-funktion, omgiven av en kontext av 5 tidigare ramar och 5 framtida ramar. Vi experimenterade med större indatakontextfönster, men det påverkade inte prestandan nämnvärt. Mer detaljer om denna topologi för olika modellstorlekar finns i tabell 1.
I REF föreslogs en end-to-end ram för A-VAD som kombinerar konvolutionella neurala nätverk (CNN) och RNN.
Feature Learning with Raw-Waveform CLDNNs for Voice Activity Detection
{'venue': 'INTERSPEECH', 'journal': None, 'mag_field_of_study': ['Computer Science']}