Update README.md

README.md

@@ -65,64 +65,88 @@ The Bllossom language model is a Korean-English bilingual language model based o
 pip install torch transformers==4.40.0 accelerate
 ```
 
-### Python code with Pipeline
+### Python code with Image
 ```python
-import transformers
+from PIL import Image
+from transformers import LlavaNextForConditionalGeneration,LlavaNextProcessor
 import torch
 
-model_id = "Bllossom/llama-3.1-Korean-Bllossom-405B"
+model = LlavaNextForConditionalGeneration.from_pretrained('Bllossom/llama-3.1-Korean-Bllossom-Vision-8B', torch_dtype=torch.bfloat16)
+processor = LlavaNextProcessor.from_pretrained('Bllossom/llama-3.1-Korean-Bllossom-Vision-8B', torch_dtype=torch.bfloat16)
 
-pipeline = transformers.pipeline(
-    "text-generation",
-    model=model_id,
-    model_kwargs={"torch_dtype": torch.bfloat16},
-    device_map="auto",
-)
+image = Image.open('[IMAGE_PATH]').convert('RGB')
 
-pipeline.model.eval()
+PROMPT=\
+"""You are a versatile AI assistant named Bllava, capable of both understanding and generating text as well as interpreting and analyzing images. Your role is to kindly and effectively answer the user’s questions, whether they are about text or images, and provide appropriate and helpful responses to all types of queries.
 
-PROMPT = '''You are a helpful AI assistant. Please answer the user's questions kindly. 당신은 유능한 AI 어시스턴트 입니다. 사용자의 질문에 대해 친절하게 답변해주세요.'''
-instruction = "서울의 유명한 관광 코스를 만들어줄래?"
+당신은 텍스트를 이해하고 생성하는 것뿐만 아니라 이미지를 해석하고 분석할 수 있는 다재다능한 AI 어시스턴트 블라바입니다. 사용자의 질문이 텍스트에 관한 것이든 이미지에 관한 것이든 친절하고 효과적으로 답변하며, 모든 유형의 질의에 대해 적절하고 유용한 응답을 제공하는 것이 당신의 역할입니다."""
 
+
+instruction = '이미지에 대해서 설명해주세요.'
 messages = [
-    {"role": "system", "content": f"{PROMPT}"},
-    {"role": "user", "content": f"{instruction}"}
-    ]
+    {'role': 'system', 'content': f"{PROMPT}"},
+    {'role': 'user', 'content': f"<image>\n{instruction}"}
+]
 
-prompt = pipeline.tokenizer.apply_chat_template(
-        messages, 
-        tokenize=False, 
-        add_generation_prompt=True
-)
+chat_messages = processor.tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=True)
 
-terminators = [
-    pipeline.tokenizer.eos_token_id,
-    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
-]
+inputs = processor(
+    chat_messages,
+    image,
+    return_tensors='pt',
+).to('cuda:0')
 
-outputs = pipeline(
-    prompt,
-    max_new_tokens=2048,
-    eos_token_id=terminators,
-    do_sample=True,
-    temperature=0.6,
-    top_p=0.9
-)
+output = model.generate(
+    **inputs,
+    max_new_tokens=1024,
+    )
 
-print(outputs[0]["generated_text"][len(prompt):])
-```
+print(processor.tokenizer.decode(output[0]))
 ```
-# 물론이죠! 서울은 다양한 문화와 역사, 자연을 겸비한 도시로, 많은 관광 명소를 자랑합니다. 여기 서울의 유명한 관광 코스를 소개해 드릴게요.
 
-### 코스 1: 역사와 문화 탐방
+### Python code No Image
+```python
+from transformers import LlavaNextForConditionalGeneration,LlavaNextProcessor
+import torch
+
+model = LlavaNextForConditionalGeneration.from_pretrained('Bllossom/llama-3.1-Korean-Bllossom-Vision-8B', torch_dtype=torch.bfloat16)
+processor = LlavaNextProcessor.from_pretrained('Bllossom/llama-3.1-Korean-Bllossom-Vision-8B', torch_dtype=torch.bfloat16)
 
-1. **경복궁**
-   - 서울의 대표적인 궁궐로, 조선 왕조의 역사와 문화를 체험할 수 있는 곳입니다.
+with torch.no_grad():
 
-2. **북촌 한옥마을**
-   - 전통 한옥이 잘 보존된 마을로, 조선시대의 생활상을 느낄 수 있습니다.
+    PROMPT=\
+    """You are a versatile AI assistant named Bllava, capable of both understanding and generating text as well as interpreting and analyzing images. Your role is to kindly and effectively answer the user’s questions, whether they are about text or images, and provide appropriate and helpful responses to all types of queries.
+    
+    당신은 텍스트를 이해하고 생성하는 것뿐만 아니라 이미지를 해석하고 분석할 수 있는 다재다능한 AI 어시스턴트 블라바입니다. 사용자의 질문이 텍스트에 관한 것이든 이미지에 관한 것이든 친절하고 효과적으로 답변하며, 모든 유형의 질의에 대해 적절하고 유용한 응답을 제공하는 것이 당신의 역할입니다."""
+
+    instruction = '자연어처리 15주 분량 커리큘럼을 짜줘'
+    
+    messages = [
+        {'role': 'system', 'content': f"{PROMPT}"},
+        {'role': 'user', 'content': f"{instruction}"}
+    ]
 
-...
+    chat_messages = processor.tokenizer.apply_chat_template(
+        messages,
+        tokenize=True,
+        add_generation_prompt=True,
+        return_tensors='pt',
+    )
+    
+    bos_token = processor.tokenizer.bos_token_id
+    chat_messages = torch.cat([torch.tensor([[bos_token]]),chat_messages],dim=-1).to('cuda:0')
+    
+
+    output = model.generate(
+        input_ids = chat_messages,
+        use_cache=False,
+        max_new_tokens=2048,
+        top_p=0.9,
+        temperature=0.6,
+        do_sample=True,
+    )
+
+    print(processor.tokenizer.decode(output[0]))
 ```
 
 ## Supported by