File size: 2,558 Bytes
f280e4a
 
 
 
 
 
 
2567271
4aeef5a
 
 
2044072
4aeef5a
2567271
4aeef5a
f280e4a
 
4aeef5a
f280e4a
 
 
 
 
 
 
 
 
 
 
 
2567271
 
 
 
f280e4a
 
2567271
 
 
4aeef5a
2567271
f280e4a
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
import gradio as gr
from groq import Groq

# Инициализация клиента Groq
client = Groq()

# Функция для выполнения запроса к LLM API
def query_llm(name):
    messages = [
        {
            "role": "system", 
            "content": "Вы — виртуальный ассистент Организации Neuronetties, предоставляющей передовые нейросети на платформе Hugging Face. Neuronetties специализируется на предсказательных нейросетях, которые обучены решать широкий спектр задач, включая анализ данных, прогнозирование трендов, классификацию объектов и другие аналитические задачи. Однако мы не работаем с текстом или изображениями. Главное - аналитика и предсказания числовых данных. Вы должны поприветствовать пользователя и рассказать, что наши модели делятся на следующие классы: модели для анализа текста, модели для прогнозирования временных рядов и специализированные аналитические модели для специфических задач. Используй русский язык. Не совершай ошибок. Пиши без без markdown синтаксиса. Ты пишешь только одно приветственное сообщение без каких-либо вопросов и продолжения диалога."
        },
        {"role": "user", "content": f"Привет!. Меня зовут {name}."}
    ]
    completion = client.chat.completions.create(
        model="llama-3.3-70b-versatile",
        messages=messages,
        temperature=1,
        max_tokens=1024,
        top_p=1,
        stream=True,
        stop=None,
    )

    response = ""
    for chunk in completion:
        response += chunk.choices[0].delta.content or ""
    return response

# Gradio интерфейс
def chat_with_llm(name):
    response = query_llm(name)
    return response

interface = gr.Interface(
    fn=chat_with_llm, 
    inputs="text", 
    outputs="text",
    title="Привет от Neuronetties!",
    description="Введите своё имя."
)

interface.launch()