Även om det är allmänt accepterat att språkmodeller inte fångar upp alla aspekter av det verkliga språket, har inga lämpliga åtgärder för att kvantifiera deras brister hittills föreslagits. Vi kommer att använda n-grammodeller som arbetshästar för att visa att skillnaderna mellan naturligt och genererat språk verkligen är kvantifierbara. Mer specifikt, för två algoritmiska tillvägagångssätt, visar vi att var och en av dem kan användas för att skilja verklig text från genererad text korrekt och för att kvantifiera skillnaden. Därför får vi en sammanhängande indikation på hur långt en språkmodell är från naturlighet. Båda metoderna bygger på analys av co-occurence nätverk: en specifik graf klustermått, transitivitet, och en specifik typ av motivanalys, där frekvenser av utvalda motiv jämförs. I vår studie genereras artificiella texter av n-grammodeller, för n = 2, 3, 4. Vi fann att ju större n väljs, desto smalare är avståndet mellan genererad och naturlig text. Men även för n = 4, avståndet är fortfarande tillräckligt stort för att möjliggöra en korrekt distinktion. Motivet tillvägagångssätt ger även en djupare inblick i de semantiska egenskaper av naturligt språk som uppenbarligen orsakar dessa skillnader: polysemi och synonym. För att komplettera bilden visar vi att en annan motivbaserad strategi av Milo et al. (2004) medger inte en sådan åtskillnad. Med vår metod blir det för första gången möjligt att mäta generativa språkmodeller brister när det gäller semantik i naturligt språk.
Binemann m.fl. I REF används motiv för att kvantifiera skillnaderna mellan naturligt och genererat språk.
Quantifying Semantics using Complex Network Analysis
{'venue': 'COLING', 'journal': None, 'mag_field_of_study': ['Computer Science']}