Mistral-7B Q5_1 GGUF
Este repositorio contiene la versi贸n cuantizada Q5_1 del modelo Mistral-7B, en formato GGUF, optimizado para ejecuci贸n eficiente en CPU con llama.cpp.
馃搶 Informaci贸n del modelo
- Nombre: Mistral-7B Q5_1
- Formato: GGUF
- Cuantizaci贸n: Q5_1 (INT5 equivalente)
- Tama帽o: 5.44 GB
- Fuente original: Mistral-7B
- Optimizado para: Inferencia r谩pida en CPU
馃殌 Requisitos
Para usar este modelo, necesitas llama.cpp o un framework compatible con GGUF.
馃敡 Instalaci贸n de llama.cpp
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make
馃弮 Uso del modelo
./main -m mistral-7b-q5_1.gguf -p "Hola, 驴c贸mo est谩s?"
馃摐 Licencia
Este modelo sigue los t茅rminos de la licencia original de Mistral-7B.
Si tienes dudas o mejoras, 隆haz un pull request! 馃槉
- Downloads last month
- 14
Inference Providers
NEW
This model is not currently available via any of the supported Inference Providers.
The model cannot be deployed to the HF Inference API:
The model has no library tag.