Transformatorbaserade arkitekturer har blivit de facto-modeller som används för en rad naturliga språkbearbetningsuppgifter. I synnerhet uppnådde de BERT-baserade modellerna betydande noggrannhetsvinster för GLUE-uppgifter, CoNLL-03 och SQuAD. BERT-baserade modeller har dock ett oöverkomligt minnesavtryck och latens. Till följd av detta har det blivit en utmanande uppgift att använda BERT-baserade modeller i resursbegränsade miljöer. I detta arbete utför vi en omfattande analys av finjusterade BERT-modeller med hjälp av andra ordningens hessisk information, och vi använder våra resultat för att föreslå en ny metod för att kvantifiera BERT-modeller till extremt låg precision. I synnerhet föreslår vi en ny gruppvis kvantifieringsplan, och vi använder en hessisk baserad mixprecisionsmetod för att komprimera modellen ytterligare. Vi testar ingående vår föreslagna metod på BERT nedströms uppgifter SST-2, MNLI, CONLL-03, och SQuAD. Vi kan uppnå jämförbar prestanda med baslinje med högst 2,3% prestandanedbrytning, även med ultra-låg precision kvantisering ner till 2 bitar, motsvarande upp till 13× kompression av modellparametrarna, och upp till 4× kompression av inbäddningsbordet samt aktiveringar. Bland alla uppgifter har vi observerat den högsta prestandaförlusten för BERT finjusterade på SQuAD. Genom att undersöka den hessiska analysen och visualiseringen visar vi att detta är relaterat till det faktum att nuvarande utbildning/finjusteringsstrategi för BERT inte konvergerar för SQuAD.
Shen m.fl. REF kvantifierade BERT till 2 bitar med hjälp av hessisk information.
Q-BERT: Hessian Based Ultra Low Precision Quantization of BERT
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}