|
# KPF-BERT-NER |
|
|
|
- ๋น
์นด์ธ์ฆ๋ฉ ์ธ์ฌ์ด๋ ๋ฉ๋ด์ ๊ฐ์ฒด๋ช
๋ถ์์์ ์ฌ์ฉ๋ ๊ฐ์ฒด๋ช
์ธ์ ๋ชจ๋ธ์ด๋ค. |
|
- ์ฌ์ฉ ๋ฐฉ๋ฒ์ ๋ํ ์๋ด ๋ฐ ์ฝ๋๋ [KPF-bigkinds github](https://github.com/KPF-bigkinds/BIGKINDS-LAB/tree/main/KPF-BERT-NER)์์ ํ์ธํ ์ ์์ต๋๋ค. |
|
|
|
## ๋ชจ๋ธ ์๊ฐ |
|
|
|
### KPF-BERT-NER |
|
|
|
|
|
ํ๊ตญ์ธ๋ก ์งํฅ์ฌ๋จ์ด ๊ฐ๋ฐํ kpf-BERT ๋ชจ๋ธ์ ๊ธฐ๋ฐ์ผ๋ก NER(Named Entity Recognition) task๋ฅผ ์ํํ ์ ์๋ kpf-BERT-ner ๋ชจ๋ธ์ ์ค๊ณ ๋ฐ ๊ฐ๋ฐํ๋ค. NER์ ์ด๋ฆ์ ๊ฐ์ง ๊ฐ์ฒด๋ฅผ ์ธ์ํ๋ ๊ฒ์ ์๋ฏธํ๋ค. ํ๊ตญ์ ๋ณดํต์ ๊ธฐ์ ํํ๊ฐ ์ ๊ณตํ๋ ์ ๋ณดํต์ ์ฉ์ด์ฌ์ ์ ๋ฐ๋ฅด๋ฉด NER์ ๋ค์๊ณผ ๊ฐ๋ค. |
|
โNER์ ๋ฏธ๋ฆฌ ์ ์ํด๋ ์ฌ๋, ํ์ฌ, ์ฅ์, ์๊ฐ, ๋จ์ ๋ฑ์ ํด๋นํ๋ ๋จ์ด(๊ฐ์ฒด๋ช
)๋ฅผ ๋ฌธ์์์ ์ธ์ํ์ฌ ์ถ์ถ ๋ถ๋ฅํ๋ ๊ธฐ๋ฒ. ์ถ์ถ๋ ๊ฐ์ฒด๋ช
์ ์ธ๋ช
(person), ์ง๋ช
(location), ๊ธฐ๊ด๋ช
(organization), ์๊ฐ(time) ๋ฑ์ผ๋ก ๋ถ๋ฅ๋๋ค. ๊ฐ์ฒด๋ช
์ธ์์ ์ ๋ณด ์ถ์ถ์ ๋ชฉ์ ์ผ๋ก ์์๋์ด ์์ฐ์ด ์ฒ๋ฆฌ, ์ ๋ณด ๊ฒ์ ๋ฑ์ ์ฌ์ฉ๋๋ค.โ |
|
์ค๋ฌด์ ์ผ๋ก ํํํ๋ฉด โ๋ฌธ์์ด์ ์
๋ ฅ์ผ๋ก ๋ฐ์ ๋จ์ด๋ณ๋ก ํด๋นํ๋ ํ๊ทธ๋ฅผ ์ถ๋ ฅํ๊ฒ ํ๋ multi-class ๋ถ๋ฅ ์์
โ์ด๋ค. ๋ณธ ๊ณผ์ ์์๋ kpf-BERT-ner ๋ชจ๋ธ์ ์ค๊ณ ๋ฐ ๊ฐ๋ฐํ๊ณ ์ธ๋ก ๊ธฐ์ฌ๋ฅผ ํ์ตํ์ฌ 150๊ฐ ํด๋์ค๋ฅผ ๋ถ๋ฅํ๋ค. |
|
|
|
- ๋ณธ ์์ ์ ์ฌ์ฉ๋ kpf-BERT๋ [kpfBERT](https://github.com/KPFBERT/kpfbert)์ ๊ณต๊ฐ๋์ด ์๋ค. |
|
|
|
- ํ๊ตญ์ด ๋ฐ์ดํฐ ์
์ ๋ชจ๋์ ๋ง๋ญ์น์์ ์ ๊ณต๋๋ [๊ตญ๋ฆฝ๊ตญ์ด์ ์ ๋ฌธ ๋ง๋ญ์น ์ถ์ถ](https://corpus.korean.go.kr/request/reausetMain.do) ๋ฅผ ์ฌ์ฉํ์๋ค. |
|
|
|
ํ๊ตญ์ธ๋ก ์งํฅ์ฌ๋จ์ด ๊ฐ๋ฐํ kpf-BERT๋ฅผ ๊ธฐ๋ฐ์ผ๋ก classification layer๋ฅผ ์ถ๊ฐํ์ฌ kpf-BERT-ner ๋ชจ๋ธ์ ๊ฐ๋ฐํ๋ค. |
|
BERT๋ ๋๋์ ๋ฐ์ดํฐ๋ฅผ ์ฌ์ ํ์ต์ ์ฌ์ฉํ๋ค. |
|
kpf-BERT๋ ์ ๋ฌธ๊ธฐ์ฌ์ ํนํ๋ BERT ๋ชจ๋ธ๋ก ์ธ๋ก , ๋ฐฉ์ก ๋งค์ฒด์ ๊ฐ์ธํ ๋ชจ๋ธ์ด๋ค. |
|
|
|
|
|
 |
|
|
|
BERT ๋ชจ๋ธ์ ํ์ต์ ์ํด์๋ ๋ฌธ์ฅ์์ ํ ํฐ์ ์ถ์ถํ๋ ๊ณผ์ ์ด ํ์ํ๋ค. |
|
์ด๋ kpf-BERT์์ ์ ๊ณตํ๋ ํ ํฌ๋์ด์ ๋ฅผ ์ฌ์ฉํ๋ค. |
|
kpf-BERT ํ ํฌ๋์ด์ ๋ ๋ฌธ์ฅ์ ํ ํฐํํด์ ์ ์ฒด ๋ฌธ์ฅ๋ฒกํฐ๋ฅผ ๋ง๋ ๋ค. |
|
์ดํ ๋ฌธ์ฅ์ ์์๊ณผ ๋ ๊ทธ ์ธ ๋ช๊ฐ์ง ํน์ ํ ํฐ์ ์ถ๊ฐํ๋ค. |
|
์ด ๊ณผ์ ์์ ๋ฌธ์ฅ๋ณ๋ก ๊ตฌ๋ณํ๋ ์ธ๊ทธ๋จผํธ ํ ํฐ, ๊ฐ ํ ํฐ์ ์์น๋ฅผ ํ์ํ๋ ํฌ์ง์
ํ ํฐ ๋ฑ์ ์์ฑํ๋ค. |
|
|
|
|
|
 |
|
|
|
NER ๋ชจ๋ธ ๊ฐ๋ฐ์ ์ํด์๋ ์ถ๊ฐ๋ก ํ ํฐ์ด ์ด๋ค ํด๋์ค๋ฅผ ๊ฐ์ก๋์ง์ ๋ํ ์ ๋ณด๊ฐ ํ์ํ๋ค. |
|
๋ณธ ๊ณผ์ ์์๋ ํ ํฌ๋์ด์ ๋ฅผ ์ฌ์ฉํ์ฌ ๋ฌธ์ฅ์ ํ ํฐ์ผ๋ก ๋ถ๋ฅํ ์ดํ์ ํด๋น ํ ํฐ๋ณ๋ก NER ํ๊น
์ ์งํํ๋ค. |
|
์ถ๊ฐ๋ก BIO(Begin-Inside-Outside) ํ๊ธฐ๋ฒ์ ์ฌ์ฉํ์ฌ ์ ํ๋๋ฅผ ๋์ธ๋ค. |
|
B๋ ๊ฐ์ฒด๋ช
์ด ์์๋๋ ๋ถ๋ถ, I๋ ๊ฐ์ฒด๋ช
์ ๋ด๋ถ ๋ถ๋ถ, O๋ ๊ฐ์ฒด๋ช
์ด ์๋ ๋ถ๋ถ์ผ๋ก ๊ตฌ๋ถํ๋ค. |
|
|
|
|
|
 |
|
|