Cristian Sas commited on
Commit
742ee1f
·
verified ·
1 Parent(s): c852ca5

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +80 -0
README.md CHANGED
@@ -120,6 +120,86 @@ print(tokenizer.decode(outputs[0], skip_special_tokens=True))
120
 
121
  ---
122
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
123
  # **📌 Installation Guide: Ollama + LitSeek**
124
 
125
  ## **🔹 Step 1: Install Ollama**
 
120
 
121
  ---
122
 
123
+
124
+
125
+ Sigur! Iată o documentație clară despre cum să instalezi **LM Studio** și să rulezi **LLMLit** pe Windows.
126
+
127
+ ---
128
+
129
+ # **📌 Ghid de Instalare: LM Studio + LLMLit pe Windows**
130
+
131
+ ## **🔹 1. Instalarea LM Studio**
132
+ LM Studio este o aplicație desktop care permite descărcarea și rularea locală a modelelor LLM.
133
+
134
+ ### **🖥️ Pasul 1: Descarcă și instalează LM Studio**
135
+ 1️⃣ Mergi la site-ul oficial:
136
+ 🔗 [LM Studio Download](https://lmstudio.ai/)
137
+
138
+ 2️⃣ Descarcă versiunea pentru **Windows** și instalează aplicația.
139
+
140
+ 3️⃣ După instalare, deschide **LM Studio**.
141
+
142
+ ---
143
+
144
+ ## **🔹 2. Descărcarea și Instalarea LLMLit**
145
+ Pentru a folosi **LLMLit**, trebuie să descarci modelul de pe **Hugging Face**.
146
+
147
+ ### **🖥️ Pasul 2: Adăugarea Modelului în LM Studio**
148
+ 1️⃣ **Deschide LM Studio** și mergi la tab-ul **"Model Catalog"**.
149
+
150
+ 2️⃣ Caută modelul **LLMLit** manual sau folosește acest link pentru descărcare:
151
+ 🔗 [LLMLit pe Hugging Face](https://huggingface.co/LLMLit/LLMLit-0.2-8B-Instruct)
152
+
153
+ 3️⃣ Copiază linkul modelului și introdu-l în **LM Studio → "Download Custom Model"**.
154
+
155
+ 4️⃣ Alege locația unde vrei să salvezi modelul și începe descărcarea.
156
+
157
+ ---
158
+
159
+ ## **🔹 3. Configurarea și Rularea LLMLit**
160
+ După ce ai descărcat modelul, trebuie să-l configurezi și să-l rulezi.
161
+
162
+ ### **🖥️ Pasul 3: Setarea Modelului**
163
+ 1️⃣ Mergi la **"Local Models"** în LM Studio.
164
+
165
+ 2️⃣ Selectează **LLMLit-0.2-8B-Instruct** din listă.
166
+
167
+ 3️⃣ Apasă **"Launch"** pentru a începe rularea modelului.
168
+
169
+ ---
170
+
171
+ ## **🔹 4. Interacțiunea cu LLMLit**
172
+ După ce modelul este activ, poți începe să-l folosești în LM Studio.
173
+
174
+ 1️⃣ **Folosește interfața LM Studio** pentru a trimite mesaje direct modelului.
175
+
176
+ 2️⃣ **Pentru integrare în Python**, instalează `ollama` și folosește următorul script:
177
+
178
+ ```python
179
+ import ollama
180
+
181
+ response = ollama.chat(model='llmlit/LLMLit-0.2-8B-Instruct',
182
+ messages=[{'role': 'user', 'content': 'Salut, cum pot folosi LLMLit?'}])
183
+
184
+ print(response['message']['content'])
185
+ ```
186
+
187
+ ---
188
+
189
+ ## **🔹 5. Optimizarea Performanței**
190
+ Pentru a rula LLMLit mai eficient pe Windows:
191
+ ✅ **Activează GPU Acceleration** dacă ai placă video compatibilă.
192
+ ✅ **Folosește modele mai mici**, dacă sistemul tău nu are suficient RAM.
193
+ ✅ **Optimizează parametrii modelului** din setările LM Studio pentru un echilibru între viteză și precizie.
194
+
195
+ ---
196
+
197
+ 🎉 **Gata!** Acum ai **LM Studio + LLMLit** instalat pe Windows și gata de utilizare! 🚀
198
+ Dacă ai întrebări, spune-mi! 😊
199
+
200
+
201
+
202
+
203
  # **📌 Installation Guide: Ollama + LitSeek**
204
 
205
  ## **🔹 Step 1: Install Ollama**