kurogane commited on
Commit
b54dc8b
·
verified ·
1 Parent(s): a753cda

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +8 -1
README.md CHANGED
@@ -10,20 +10,27 @@ license: cc-by-nc-4.0
10
 
11
  これはテスト的なモデルです。
12
 
13
- [Nejumi LLMリーダーボード3](https://wandb.ai/wandb-japan/llm-leaderboard3/reports/Nejumi-LLM-3--Vmlldzo3OTg2NjM2?accessToken=wpnwc9whr96pxm40dfe4k3xq513f9jc4yhj7q6pnvj4jtayoefbc77qhzbsrztgz)で公開されているJapanese MT Benchのroleplay, humanities, writingの結果をModernBERTに学習させたモデルです。
 
 
14
 
15
  ## トレーニングの結果
16
 
 
 
17
  [training用のノートブック](https://huggingface.co/kurogane/ModernBERT_Japanese_MT_Bench_test/blob/main/train_jmtb_test_v6%20(%E3%82%B3%E3%83%94%E3%83%BC).ipynb)でfine tuningしました。
18
 
19
  ![training_log](https://huggingface.co/kurogane/ModernBERT_Japanese_MT_Bench_test/resolve/main/log_epochs.png)
20
 
 
 
21
  ## testデータとの差
22
 
23
  [test用のnotebook](https://huggingface.co/kurogane/ModernBERT_Japanese_MT_Bench_test/blob/main/modernbert_run_test.ipynb)のコードで出力しました。
24
 
25
  ![test_check](https://huggingface.co/kurogane/ModernBERT_Japanese_MT_Bench_test/resolve/main/test_check.png)
26
 
 
27
 
28
  ## License
29
 
 
10
 
11
  これはテスト的なモデルです。
12
 
13
+ [Nejumi LLMリーダーボード3](https://wandb.ai/wandb-japan/llm-leaderboard3/reports/Nejumi-LLM-3--Vmlldzo3OTg2NjM2?accessToken=wpnwc9whr96pxm40dfe4k3xq513f9jc4yhj7q6pnvj4jtayoefbc77qhzbsrztgz)で公開されているJapanese MT Benchのroleplay, humanities, writingの結果を勝手にModernBERTに学習させたモデルです。
14
+
15
+ 今後、自力でJapanese MT Benchをし直して使えるモデルにしていきたい。
16
 
17
  ## トレーニングの結果
18
 
19
+ トレーニングコードはChatGPTに書いてもらいました。自力で設計できるようになりたい…。
20
+
21
  [training用のノートブック](https://huggingface.co/kurogane/ModernBERT_Japanese_MT_Bench_test/blob/main/train_jmtb_test_v6%20(%E3%82%B3%E3%83%94%E3%83%BC).ipynb)でfine tuningしました。
22
 
23
  ![training_log](https://huggingface.co/kurogane/ModernBERT_Japanese_MT_Bench_test/resolve/main/log_epochs.png)
24
 
25
+ やりすぎなのかもしれないし、どう改善したらいいんだろうか?
26
+
27
  ## testデータとの差
28
 
29
  [test用のnotebook](https://huggingface.co/kurogane/ModernBERT_Japanese_MT_Bench_test/blob/main/modernbert_run_test.ipynb)のコードで出力しました。
30
 
31
  ![test_check](https://huggingface.co/kurogane/ModernBERT_Japanese_MT_Bench_test/resolve/main/test_check.png)
32
 
33
+ 予測できてる雰囲気だけど、低いやつをだいぶ予測ミスしてるから使い物にはならなそう。
34
 
35
  ## License
36