Att karakterisera tidsmässiga beroendemönster är ett viktigt steg i förståelsen av de statistiska egenskaperna hos sekventiella data. Långdistansberoende (LRD) -avser långa korrelationer som förfaller som en maktlag snarare än exponentiellt w.r.t. distanskrav en annan uppsättning verktyg för att modellera den underliggande dynamiken i de sekventiella uppgifterna. Även om det vida antas att LRD förekommer i språkmodellering och sekventiell rekommendation, har mängden LRD i motsvarande sekventiella datauppsättningar ännu inte kvantifierats på ett skalbart och modelloberoende sätt. Vi föreslår ett principiellt estimeringsförfarande för LRD i sekventiella datauppsättningar baserat på etablerad LRD-teori för realtidsserier med verkligt värde och tillämpar den på sekvenser av symboler med million-bitars ordböcker. I våra mätningar beräknar proceduren tillförlitligt LRD i beteendet hos användare när de skriver Wikipedia artiklar och när de interagerar med YouTube. Vi visar vidare att mätning av LRD bättre informerar modelleringsbeslut särskilt för RNN vars förmåga att fånga LRD fortfarande är ett aktivt forskningsområde. Den kvantitativa åtgärden informerar om nya Evolutive Recurrent Neural Networks (EvolutiveRNNs), vilket leder till toppmoderna resultat om språkförståelse och sekventiella rekommendationsuppgifter till en bråkdel av beräkningskostnaden.
Från datavetenskapens perspektiv, Belletti et al. I Ref föreslogs ett principiellt skattningsförfarande för beräkning av det långsiktiga beroendet.
Quantifying Long Range Dependence in Language and User Behavior to improve RNNs
{'venue': None, 'journal': 'Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining', 'mag_field_of_study': ['Mathematics', 'Computer Science']}