Example version of testing

.gitignore

@@ -0,0 +1,2 @@
+venv/
+.env

app.py

@@ -0,0 +1,106 @@
+import json
+import os
+import gradio as gr
+
+MODELS = {
+    "GPT-4o": "gpt-4o",
+    "Gemini 1.5 Pro": "gemini-1.5-pro",
+    "Claude 3.5 Sonnet": "claude-3-5-sonnet-20241022"
+}
+
+MODELS_PATH = {
+    "GPT-4o": "gpt_4o",
+    "Gemini 1.5 Pro": "gemini_1_5_pro",
+    "Claude 3.5 Sonnet": "claude_3_5_sonnet"
+}
+
+BOOKS = {
+    "Іван Нечуйлевицький - Кайдашева Сім'я": "nechuy-levytskyy-ivan-semenovych-kaydasheva-simia.json",
+}
+
+questions_data = []
+current_question_index = 0
+answers_log = []  # Log for saving answers
+
+
+def load_questions(model, book):
+    global questions_data, current_question_index
+    current_question_index = 0
+    answers_log.clear()
+
+    if not model or not book:
+        return "Будь ласка, оберіть модель і книгу.", []
+
+    model_path = MODELS_PATH[model]
+    book_filename = BOOKS[book]
+    file_path = os.path.join("questions", model_path, book_filename)
+
+    if not os.path.exists(file_path):
+        return f"Файл за шляхом {file_path} не знайдено.", []
+
+    with open(file_path, "r", encoding="utf-8") as file:
+        questions_data = json.load(file)
+
+    if questions_data:
+        first_question = questions_data[current_question_index]
+        question_text = f"**Питання:** {first_question['question']}"
+        answers = [answer['answer'] for answer in first_question['answers']]
+        return question_text, answers
+    else:
+        return "У файлі немає питань.", []
+
+
+def get_next_question(selected_answer):
+    global current_question_index, answers_log
+
+    # Writing answer in log
+    answers_log.append({
+        "selected": selected_answer,
+        "isCorrect": any(answer['answer'] == selected_answer and answer['isCorrect'] for answer in questions_data[current_question_index]['answers'])
+    })
+
+    # Move to the next question
+    current_question_index += 1
+    if current_question_index < len(questions_data):
+        next_question = questions_data[current_question_index]
+        question_text = f"**Питання:** {next_question['question']}"
+        answers = [answer['answer'] for answer in next_question['answers']]
+        return question_text, gr.update(choices=answers, interactive=True), gr.update(visible=True)
+    else:
+        # All questions are completed — summarizing
+        correct_answers_count = sum(1 for answer in answers_log if answer['isCorrect'])
+        total_questions = len(questions_data)
+        summary = f"# Усі питання пройдено.\n\n**Ви відповіли правильно на {correct_answers_count} з {total_questions} питань.**"
+        return summary, gr.update(visible=False), gr.update(visible=False)
+
+
+with gr.Blocks() as demo:
+    with gr.Column():
+        gr.Markdown("# Оберіть модель та книгу, щоб завантажити питання")
+
+        model_radio = gr.Radio(list(MODELS.keys()), label="Оберіть модель")
+        book_radio = gr.Radio(list(BOOKS.keys()), label="Оберіть книгу")
+
+        load_button = gr.Button("Завантажити питання")
+        question_output = gr.Markdown(label="Питання")
+        answer_radio = gr.Radio([], label="Варіанти відповіді", interactive=True)
+        next_button = gr.Button("Наступне питання", visible=False)
+
+        def update_question(model, book):
+            question, answers = load_questions(model, book)
+            return question, gr.update(choices=answers, interactive=True), gr.update(visible=True)
+
+        load_button.click(
+            update_question,
+            inputs=[model_radio, book_radio],
+            outputs=[question_output, answer_radio, next_button]
+        )
+
+        next_button.click(
+            get_next_question,
+            inputs=[answer_radio],
+            outputs=[question_output, answer_radio, next_button]
+        )
+
+if __name__ == "__main__":
+    demo.launch()

questions/gemini_1_5_pro/nechuy-levytskyy-ivan-semenovych-kaydasheva-simia.json

@@ -0,0 +1,222 @@
+[
+    {
+        "question": "Який характер мала Мотря, за словами Лавріна?",
+        "textPart": "Мотря й гарна, й трохи бриклива, і в неї серце з перцем.",
+        "answers": [
+            {
+                "answer": "Гарна, трохи бриклива, з серцем з перцем.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Тиха та сором'язлива.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Весела та жартівлива.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Сердита та сварлива.",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Чому Кайдашиха так детально вчила Мотрю розпалювати піч?",
+        "textPart": "— Мотре! Вставай, моя дитино, затопи в печі, та як будеш розкладать дрова, то поклади на двох полінах переклад, та вибирай, моє серденько, товстенький переклад, щоб дрова швидше розгорілись... Вона була рада, що взяла в свою хату добру робітницю, і почала залежуватись.",
+        "answers": [
+            {
+                "answer": "Кайдашиха хотіла, щоб Мотря робила всю роботу, а сама могла лінуватися.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Кайдашиха дуже турбувалася про Мотрю і хотіла її навчити всьому.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Кайдашиха боялася, що Мотря не вміє розпалювати піч і спалить хату.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Кайдашиха хотіла перевірити, чи Мотря слухняна невістка.",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Що сталося, коли Кайдашиха та Мотря почали сваритися через мотовило?",
+        "textPart": "Молодиці підняли гвалт. Чоловіки позбігались у хату. Їм здалось, що молодиці б’ються. Серед хати стояли свекруха й невістка і сіпали кожна до себе мотовило.",
+        "answers": [
+            {
+                "answer": "Чоловіки позбігалися в хату, думаючи, що вони б'ються.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Вони помирилися та почали разом прясти.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Кайдашиха віддала Мотрі мотовило.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Мотря пішла до батьків.",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Як дівчина відповіла Лаврінові на питання про село?",
+        "textPart": "— Добривечір тобі, дівчино! Чи далеко звідсіль до села? — спитав Лаврін.\n— До якого села тобі треба? — спитала дівчина, і її голос рознісся, неначе в житі затуркотала горлиця.\n— До того села, звідкіля ти сама, — сказав Лаврін.\n— Не питай, бо швидко старий будеш, — сказала дівчина й осміхнулась.",
+        "answers": [
+            {
+                "answer": "«Не питай, бо швидко старий будеш»",
+                "isCorrect": true
+            },
+            {
+                "answer": "«Я з сусіднього села»",
+                "isCorrect": false
+            },
+            {
+                "answer": "«Дуже далеко»",
+                "isCorrect": false
+            },
+            {
+                "answer": "«Я не знаю»",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Що зробила Кайдашиха, коли побачила хату Балашів?",
+        "textPart": "Кайдашиха сиділа на возі й не хотіла злазити. Вона зовсім розсердилась.",
+        "answers": [
+            {
+                "answer": "Залишилась сидіти на возі, розсердившись.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Зайшла в хату, посміхаючись.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Почала сваритися з Балашем.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Втекла назад до Семигор.",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Куди дуже хотіла піти Мелашка і чому?",
+        "textPart": "— Ой, пустіть мене, мамо, в Київ з бабою! — просилася Мелашка. — Я й зросла, а в Києві не була. Мене й господь не помилує на тому світі.",
+        "answers": [
+            {
+                "answer": "До Києва, бо там ще ніколи не була і боялася, що господь її не помилує.",
+                "isCorrect": true
+            },
+            {
+                "answer": "До Бієвець, бо сумувала за батьками.",
+                "isCorrect": false
+            },
+            {
+                "answer": "До попаді, щоб пополуднувати.",
+                "isCorrect": false
+            },
+            {
+                "answer": "На Западинці, до сватів.",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Чому Мелашка злякалась на цвинтарі та побігла до хати?",
+        "textPart": "На неї напав страх. Вона глянула ще раз вгору, і їй здалось, що хрести на церкві трусяться й коливаються, що коливається вся гора, от-от впаде на неї. І вона прожогом побігла з цвинтаря до хати.",
+        "answers": [
+            {
+                "answer": "Їй здалося, що Андріївська гора з церквою падає на неї.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Вона побачила змію.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Почався дощ.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Вона почула крик.",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "З якого міста Мелашка поверталася додому з ріднею?",
+        "textPart": "Другого дня Мелашка з ріднею вийшли з Києва.",
+        "answers": [
+            {
+                "answer": "З Києва",
+                "isCorrect": true
+            },
+            {
+                "answer": "З Богуслава",
+                "isCorrect": false
+            },
+            {
+                "answer": "З Бассарабії",
+                "isCorrect": false
+            },
+            {
+                "answer": "З Семигори",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Що Кайдашиха сказала про Мотрю, коли Карпо загадував Лаврінові йти на роботу?",
+        "textPart": "— Ану, Лавріне, бери заступа та йди на роботу, — загадував Карпо братові. — Піди вижени на роботу свою Мотрю, — промовила стара Кайдашиха.",
+        "answers": [
+            {
+                "answer": "Піди вижени на роботу свою Мотрю",
+                "isCorrect": true
+            },
+            {
+                "answer": "Нехай Мотря зостанеться вдома",
+                "isCorrect": false
+            },
+            {
+                "answer": "Мотря теж має йти на роботу",
+                "isCorrect": false
+            },
+            {
+                "answer": "Мотря не повинна працювати",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Чому Кайдашиха схопилася за голову на городі?",
+        "textPart": "Мелашка посадила огірки коло самого тину. Огірки зійшли, як зелене руно. Показались ранні огірочки. Мотрин півень перескочив через тин та давай вибирати Мел��шчині огірки. Півень сокотав та скликав курей. Всі Мотрині кури перелетіли через тин в огірки. За курами полізли крізь тин курчата. Квочка вигребла яму саме серед огудиння. Стара Кайдашиха вийшла на город, угляділа таку шкоду та аж за голову вхопилась.",
+        "answers": [
+            {
+                "answer": "Бо побачила, що Мотрині кури клюють Мелашчині огірки.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Бо загубила свою хустку",
+                "isCorrect": false
+            },
+            {
+                "answer": "Бо побачила змію",
+                "isCorrect": false
+            },
+            {
+                "answer": "Бо їй стало погано.",
+                "isCorrect": false
+            }
+        ]
+    }
+]

requirements.txt

@@ -0,0 +1,2 @@
+protobuf==5.29.3
+gradio==5.16.0

utils.py

@@ -0,0 +1,23 @@
+import json
+from typing import List, Dict
+
+
+def read_json_to_dict_array(file_path: str) -> List[Dict]:
+    """
+    Read a JSON file and convert its content to an array of dictionaries.
+
+    :param file_path: Path to JSON file.
+    :return: Array or dicts.
+    """
+    try:
+        with open(file_path, 'r', encoding='utf-8') as f:
+            data = json.load(f)
+            if isinstance(data, list):
+                return data
+            else:
+                raise ValueError(f"Wrong data type. Expected list. Got: {str(type(data))}")
+    except FileNotFoundError:
+        print(f"File '{file_path}' not found")
+    except json.JSONDecodeError as e:
+        print(f"Failed to decode JSON: {e}")
+    return []