Vi introducerar en ny typ av djup kontextualiserad ordrepresentation som modellerar både (1) komplexa egenskaper av ordanvändning (t.ex. syntax och semantik), och (2) hur dessa användningar varierar mellan olika språkliga sammanhang (dvs. att modellera polysemy). Våra ordvektorer är inlärda funktioner i de inre tillstånden i en djup dubbelriktad språkmodell (biLM), som är förträngd på en stor text corpus. Vi visar att dessa representationer enkelt kan läggas till i befintliga modeller och avsevärt förbättra den senaste tekniken över sex utmanande NLP-problem, inklusive frågesvar, textförnimmelse och känsloanalys. Vi presenterar också en analys som visar att det är avgörande att exponera de djupa inre delarna av det förtränade nätet, vilket gör det möjligt för nedströmsmodeller att blanda olika typer av semi-supervisionssignaler.
På senare tid har ELMo Ref använt inlärningsfunktioner i de interna tillstånden i en djupgående dubbelriktad språkmodell för att generera karaktären inbäddningar.