Att minska språkmodell (LM) storlek är en kritisk fråga när man tillämpar en LM till realistiska tillämpningar som har minnesbegränsningar. I detta dokument studeras tre åtgärder för beskärning av små och medelstora företag. De är sannolikhet, rang och entropi. Vi utvärderade resultatet av de tre beskärningskriterierna i en verklig tillämpning av kinesisk text in i termer av teckenfel (CER). Vi presenterar först en empirisk jämförelse, som visar att rangen presterar bäst i de flesta fall. Vi visar också att rangens höga prestanda ligger i dess starka korrelation med felfrekvensen. Därefter presenterar vi en ny metod för att kombinera två kriterier i modellbeskärningen. Experimentella resultat visar att det kombinerade kriteriet konsekvent leder till mindre modeller än de modeller som beskärs med användning av något av kriterierna separat, vid samma CER.
REF presenterade också en metod för att kombinera två kriterier och visade att kombinationen av rang och entropi uppnådde de minsta modellerna.
Improving Language Model Size Reduction Using Better Pruning Criteria
{'venue': 'Annual Meeting Of The Association For Computational Linguistics', 'journal': None, 'mag_field_of_study': ['Computer Science']}