De flesta befintliga sekvensmärkningsmodeller bygger på en fast nedbrytning av en målsekvens i en sekvens av grundläggande enheter. Dessa metoder lider av två stora nackdelar: 1) uppsättningen av grundläggande enheter är fast, såsom uppsättningen av ord, tecken eller fonem i taligenkänning, och 2) nedbrytningen av målsekvenser är fast. Dessa nackdelar resulterar vanligtvis i suboptimala prestanda för modellering sekvenser. I detta dokument utökar vi det populära CTC-förlustkriteriet för att mildra dessa begränsningar, och föreslår en ny förlustfunktion som kallas Gram-CTC. Samtidigt som fördelarna med CTC bevaras lär sig gram-CTC automatiskt den bästa uppsättningen grundläggande enheter (gram), samt den mest lämpliga nedbrytningen av målsekvenser. Till skillnad från CTC gör gram-CTC det möjligt för modellen att mata ut variabelt antal tecken vid varje steg, vilket gör det möjligt för modellen att fånga längre tids beroende och förbättrar beräkningseffektiviteten. Vi visar att den föreslagna Gram-CTC förbättrar CTC både i fråga om prestanda och effektivitet på den stora ordförråd taligenkänning uppgift på flera skalor av data, och att med Gram-CTC kan vi överträffa state-of-the-art på en standard talriktmärke.
REF utökar CTC-förlustfunktionen för att lära sig anpassningen mellan inmatningen och målsekvensen samt en lämplig nedbrytning av målsekvensen.
Gram-CTC: Automatic Unit Selection and Target Decomposition for Sequence Labelling
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}