Austin9 commited on
Commit
81b85b6
ยท
verified ยท
1 Parent(s): ee4186b

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +8 -0
README.md CHANGED
@@ -181,6 +181,14 @@ Assistant> ๋ ˆ์Šฌ๋ง์€ ๋˜์ง€๊ธฐ, ์“ฐ๋Ÿฌ๋œจ๋ฆฌ๊ธฐ, ๊บพ๊ธฐ ๋“ฑ์˜ ๊ธฐ์ˆ ์„ ์ด
181
 
182
  ์ด๋Ÿฌํ•œ ์˜ˆ์‹œ๋“ค์„ ์ฐธ๊ณ ํ•˜์—ฌ ๊ฒ€์ƒ‰ ๊ธฐ๋ฐ˜ ๋ชจ๋ธ์„ ํšจ๊ณผ์ ์œผ๋กœ ํ™œ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
183
 
 
 
 
 
 
 
 
 
184
  ## ์ฃผ์˜์‚ฌํ•ญ
185
  - ๊ฒ€์ƒ‰ ์—”์ง„๊ณผ ํ•จ๊ป˜ ์‚ฌ์šฉํ•  ๊ฒฝ์šฐ **QCR์„ ๋จผ์ € ์‹คํ–‰ํ•˜์—ฌ ๊ฒ€์ƒ‰ ์ฟผ๋ฆฌ๋ฅผ ์ƒ์„ฑ**ํ•œ ํ›„, ๊ฒ€์ƒ‰๋œ ๋ฌธ์„œ ์ฒญํฌ๋ฅผ ๋ฐ”ํƒ•์œผ๋กœ **GEN์„ ์‹คํ–‰**ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.
186
  - ๊ฒ€์ƒ‰๋œ ์ฒญํฌ๋Š” ์ตœ๋Œ€ **512 ํ† ํฐ** ๊ธธ์ด์ด๋ฉฐ, ํ•™์Šต ๊ณผ์ •์—์„œ **์ตœ๋Œ€ 5๊ฐœ์˜ ์ฒญํฌ**๋ฅผ ๋ฐ˜์˜ํ•˜์˜€์œผ๋ฏ€๋กœ ์ด์— ๋งž์ถฐ ํ™œ์šฉํ•˜๋Š” ๊ฒƒ์ด ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค.
 
181
 
182
  ์ด๋Ÿฌํ•œ ์˜ˆ์‹œ๋“ค์„ ์ฐธ๊ณ ํ•˜์—ฌ ๊ฒ€์ƒ‰ ๊ธฐ๋ฐ˜ ๋ชจ๋ธ์„ ํšจ๊ณผ์ ์œผ๋กœ ํ™œ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
183
 
184
+ ## ํ…Œ์ŠคํŠธ ๋…ธํŠธ๋ถ (Colab)
185
+
186
+ ๊ฐ„๋‹จํžˆ ์ฝ”๋“œ๋ฅผ ์‹คํ–‰ํ•ด๋ณด๋ ค๋ฉด [test_run.ipynb](https://colab.research.google.com/github/Austin9/gemma-2-9b-it-Ko-RAG/blob/main/test_run.ipynb) ํŒŒ์ผ์„ Google Colab์—์„œ ๋ฐ”๋กœ ์—ด์–ด๋ณด์„ธ์š”.
187
+ - **๋Ÿฐํƒ€์ž„ ์œ ํ˜•**์—์„œ GPU๋ฅผ **T4**๋กœ ์„ ํƒํ•˜์„ธ์š”.
188
+ - ์œ„ ์ฝ”๋žฉ ํŒŒ์ผ์€ 9b ๋ชจ๋ธ ์ถ”๋ก  ํŒŒ์ผ์ด๊ธฐ ๋•Œ๋ฌธ์—, ๋ชจ๋ธ ๋กœ๋”ฉ์‹œ 9b -> 2b๋กœ ๋ณ€๊ฒฝํ•˜๊ณ  load_in_4bit ๋ณ€์ˆ˜๋ฅผ False๋กœ ๋ณ€๊ฒฝ ํ›„ ์‚ฌ์šฉํ•ด์•ผํ•ฉ๋‹ˆ๋‹ค.
189
+ - ์ดํ›„, **์…€์„ ์ˆœ์„œ๋Œ€๋กœ ์‹คํ–‰**ํ•˜๋ฉฐ ํ•„์š”ํ•œ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋ฅผ ์„ค์น˜ํ•˜๊ณ  ๋ชจ๋ธ ๋ฐ FAISS ์ธ๋ฑ์Šค๋ฅผ ๋กœ๋“œํ•ฉ๋‹ˆ๋‹ค.
190
+ - ์™„์„ฑ๋œ RAG ๊ธฐ๋ฐ˜ ์ฑ—๋ด‡ ์˜ˆ์‹œ ์ฝ”๋“œ๋ฅผ ์ฒดํ—˜ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
191
+
192
  ## ์ฃผ์˜์‚ฌํ•ญ
193
  - ๊ฒ€์ƒ‰ ์—”์ง„๊ณผ ํ•จ๊ป˜ ์‚ฌ์šฉํ•  ๊ฒฝ์šฐ **QCR์„ ๋จผ์ € ์‹คํ–‰ํ•˜์—ฌ ๊ฒ€์ƒ‰ ์ฟผ๋ฆฌ๋ฅผ ์ƒ์„ฑ**ํ•œ ํ›„, ๊ฒ€์ƒ‰๋œ ๋ฌธ์„œ ์ฒญํฌ๋ฅผ ๋ฐ”ํƒ•์œผ๋กœ **GEN์„ ์‹คํ–‰**ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.
194
  - ๊ฒ€์ƒ‰๋œ ์ฒญํฌ๋Š” ์ตœ๋Œ€ **512 ํ† ํฐ** ๊ธธ์ด์ด๋ฉฐ, ํ•™์Šต ๊ณผ์ •์—์„œ **์ตœ๋Œ€ 5๊ฐœ์˜ ์ฒญํฌ**๋ฅผ ๋ฐ˜์˜ํ•˜์˜€์œผ๋ฏ€๋กœ ์ด์— ๋งž์ถฐ ํ™œ์šฉํ•˜๋Š” ๊ฒƒ์ด ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค.