Update README_ja.md

README_ja.md

@@ -262,9 +262,38 @@ CUDA_VISIBLE_DEVICES=0 python demo/text_generation_base.py --model OrionStarAI/O
 # チャットモデル
 CUDA_VISIBLE_DEVICES=0 python demo/text_generation.py --model OrionStarAI/Orion-14B-Chat --tokenizer OrionStarAI/Orion-14B-Chat --prompt hi
 ```
+## 4.4. vLLMを使用した推論
 
-## 4.4 例の出力
-### 4.4.1 カジュアルチャット
+- プロジェクトのアドレス<br>
+  https://github.com/vllm-project/vllm
+
+- プルリクエスト<br>
+  https://github.com/vllm-project/vllm/pull/2539
+
+<a name="llama-cpp"></a><br>
+## 4.5. llama.cppを使用した推論
+
+- プロジェクトのアドレス<br>
+  https://github.com/ggerganov/llama.cpp
+
+- プルリクエスト<br>
+  https://github.com/ggerganov/llama.cpp/pull/5118
+
+- GGUF形式に変換する方法
+
+  ```shell
+  python convert-hf-to-gguf.py path/to/Orion-14B-Chat --outfile chat.gguf
+  ```
+
+- モデル推論方法
+
+  ```shell
+  ./main --frequency-penalty 0.5 --frequency-penalty 0.5 --top-k 5 --top-p 0.9 -m chat.gguf -p "Building a website can be done in 10 simple steps:\nStep 1:" -n 400 -e
+  ```
+
+
+## 4.6 例の出力
+### 4.6.1 カジュアルチャット
 
 `````
 User: Hello
@@ -286,7 +315,7 @@ User: Tell me a joke.
 Orion-14B: Sure, here's a classic one-liner: Why don't scientists trust atoms? Because they make up everything.
 `````
 
-### 4.4.2. 日本語と韓国語のチャット
+### 4.6.2. 日本語と韓国語のチャット
 
 `````
 User：自己を紹介してください