{
"cells": [
{
"cell_type": "code",
"execution_count": 1,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"[2023-09-13 17:29:34,286] [INFO] [real_accelerator.py:158:get_accelerator] Setting ds_accelerator to cuda (auto detect)\n"
]
}
],
"source": [
"from modeling_qwen import QWenLMHeadModel\n",
"from tokenization_qwen import QWenTokenizer\n",
"from configuration_qwen import QWenConfig\n",
"from transformers.modeling_utils import PreTrainedModel\n",
"from transformers import GenerationConfig\n",
"import torch"
]
},
{
"cell_type": "code",
"execution_count": 2,
"metadata": {},
"outputs": [],
"source": [
"import json\n",
"configOpts = json.load(open('./config.json'))"
]
},
{
"cell_type": "code",
"execution_count": 3,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"Loading model...\n"
]
}
],
"source": [
"model = QWenLMHeadModel(QWenConfig(**configOpts));\n",
"model = model.to('cuda:1')"
]
},
{
"cell_type": "code",
"execution_count": 4,
"metadata": {},
"outputs": [],
"source": [
"tokenizerConfig = json.load(open('./tokenizer_config.json'))\n",
"tokenizer = QWenTokenizer(vocab_file='./qwen.tiktoken', **tokenizerConfig)"
]
},
{
"cell_type": "code",
"execution_count": 5,
"metadata": {},
"outputs": [],
"source": [
"query = tokenizer.from_list_format([\n",
" {'image': '../../notebooks/images/im1.png'},\n",
" {'text': 'Give examples of why an object detection model would fail in the given images.'},\n",
"])"
]
},
{
"cell_type": "code",
"execution_count": 6,
"metadata": {},
"outputs": [],
"source": [
"from qwen_generation_utils import make_context\n",
"raw_text, context_tokens = make_context(tokenizer,\n",
" query=query,\n",
" history=None,\n",
" system=\"You are a helpful assistant\",\n",
" max_window_size=None,\n",
" chat_format='chatml')"
]
},
{
"cell_type": "code",
"execution_count": 7,
"metadata": {},
"outputs": [
{
"data": {
"text/plain": [
"'<|im_start|>system\\nYou are a helpful assistant<|im_end|>\\n<|im_start|>user\\nPicture 1:
../../notebooks/images/im1.png\\nGive examples of why an object detection model would fail in the given images.<|im_end|>\\n<|im_start|>assistant\\n'"
]
},
"execution_count": 7,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"raw_text"
]
},
{
"cell_type": "code",
"execution_count": 8,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD < DADM AMD AKND SLNAD KMASKL \n",
"GWJDKAN KSJDAOJASJDASJKN KALMD MD