Trénujte přirozený jazykový model, který dokáže předpovědět další slovo na základě kontextu.
Vytvoření přirozeného jazykového modelu pro předpovídání dalšího slova v kontextu zahrnuje několik fází:

1. Předzpracování - Zde je text rozdělen na věty, tokenizován, odstraněna interpunkce a odstraněny tzv. stop slova.

2. Vložení - Zde jsou slova reprezentována hustými vektory reálných čísel a slova se podobným významem mají podobnou reprezentaci.

3. Trénování - Zde je model trénován pomocí učení s učitelem, kde stroj je učen na základě příkladů předchozích textů, aby se naučil vzory. Model předpovídá další slovo ve sledu poté, co je natrénován.

4. Hodnocení - Model je hodnocen na neviditelných datech, aby se zajistilo, že dobře funguje při úkolu.