Transformer är en sekvensmodell som överger traditionella återkommande arkitekturer till förmån för ett helt uppmärksamhetsbaserat tillvägagångssätt. Förutom att förbättra prestandan är en fördel med att använda uppmärksamhet att den också kan hjälpa till att tolka en modell genom att visa hur modellen tilldelar vikt till olika indataelement. Det kan dock vara svårt att dechiffrera multi-lager, multi-head uppmärksamhetsmekanism i Transformer-modellen. För att göra modellen mer tillgänglig introducerar vi ett verktyg med öppen källkod som visualiserar uppmärksamhet på flera skalor, som vart och ett ger ett unikt perspektiv på uppmärksamhetsmekanismen. Vi demonstrerar verktyget på BERT och OpenAI GPT-2 och presenterar tre exempel användningsfall: att upptäcka modellfördomar, lokalisera relevanta uppmärksamhetshuvuden och länka nervceller till modellbeteende.
När det gäller relaterade demonstrationer analyserar författarna i REF uppmärksamheten i Transformer på flera skalar och visar olika användningsfall på kontextuella ordinslag.
A Multiscale Visualization of Attention in the Transformer Model
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}