Commit
Β·
135edd7
1
Parent(s):
3339687
Update README.md
Browse files
README.md
CHANGED
@@ -10,7 +10,7 @@ pko-t5 λ νκ΅μ΄ μ μ© λ°μ΄ν°λ‘ νμ΅ν [t5 v1.1 λͺ¨λΈ](https://gith
|
|
10 |
|
11 |
νκ΅μ΄λ₯Ό tokenize νκΈ° μν΄μ sentencepiece λμ OOV κ° μλ BBPE λ₯Ό μ¬μ©νμΌλ©° νκ΅μ΄ λ°μ΄ν° (λ무μν€, μν€νΌλμ, λͺ¨λμλ§λμΉ λ±..) λ₯Ό T5 μ span corruption task λ₯Ό μ¬μ©ν΄μ unsupervised learning λ§ μ μ©νμ¬ νμ΅μ μ§ννμ΅λλ€.
|
12 |
|
13 |
-
pko-t5 λ₯Ό μ¬μ©νμ€ λλ
|
14 |
|
15 |
## Usage
|
16 |
transformers μ API λ₯Ό μ¬μ©νμ¬ μ κ·Ό κ°λ₯ν©λλ€. tokenizer λ₯Ό μ¬μ©ν λλ `T5Tokenizer` κ° μλλΌ `T5TokenizerFast` λ₯Ό μ¬μ©ν΄μ£Όμμμ€. model μ T5ForConditionalGeneration λ₯Ό κ·Έλλ‘ νμ©νμλ©΄ λ©λλ€.
|
|
|
10 |
|
11 |
νκ΅μ΄λ₯Ό tokenize νκΈ° μν΄μ sentencepiece λμ OOV κ° μλ BBPE λ₯Ό μ¬μ©νμΌλ©° νκ΅μ΄ λ°μ΄ν° (λ무μν€, μν€νΌλμ, λͺ¨λμλ§λμΉ λ±..) λ₯Ό T5 μ span corruption task λ₯Ό μ¬μ©ν΄μ unsupervised learning λ§ μ μ©νμ¬ νμ΅μ μ§ννμ΅λλ€.
|
12 |
|
13 |
+
pko-t5 λ₯Ό μ¬μ©νμ€ λλ λμ task μ νμΈνλνμ¬ μ¬μ©νμκΈ° λ°λλλ€.
|
14 |
|
15 |
## Usage
|
16 |
transformers μ API λ₯Ό μ¬μ©νμ¬ μ κ·Ό κ°λ₯ν©λλ€. tokenizer λ₯Ό μ¬μ©ν λλ `T5Tokenizer` κ° μλλΌ `T5TokenizerFast` λ₯Ό μ¬μ©ν΄μ£Όμμμ€. model μ T5ForConditionalGeneration λ₯Ό κ·Έλλ‘ νμ©νμλ©΄ λ©λλ€.
|