AlirezaF138

/

Dorna-Llama3-8B-Instruct-GGUF

like 1

سلام
من خودم فقط با Kobold و روی Colab تست کردم
اما LM Studio شما آپدیت هست و مدل های دیگه Llama 3 رو اجرا میکنه؟
البته به نظر میاد به طور کلی مشکلی از سمت llama.cpp باشه:
https://github.com/ggerganov/llama.cpp/issues/7724

سلام
داخل html کد زیر را نوشتم
async function queryDorna(prompt) {
const response = await fetch('http://127.0.0.1:7860/chat/', {
method: 'POST',
headers: { 'Content-Type': 'application/json' },
body: JSON.stringify({
message: prompt,
max_new_tokens: 1024,
temperature: 0.5,
top_p: 0.9,
top_k: 20,
repetition_penalty: 1.2,
do_sample: "true",
})
});
const result = await response.json();
return result.response;
}
اما خطا میده
لطفا یک ویدئو آموزشی قرار بدید

خطا از مدل هست یا در استفاده از API؟

https://lmstudio.ai/docs/api
https://lmstudio.ai/docs/api/endpoints/openai

بی زحمت نحوه استفاده از API رو هم چک کنین