license: apache-2.0
language:
- es
Introducci贸n al Chatbot con Fine-Tuning para Consultas de SQL
El presente proyecto introduce un chatbot impulsado por t茅cnicas de procesamiento de lenguaje natural (NLP) y fine-tuning, dise帽ado espec铆ficamente para asistir en consultas de bases de datos utilizando el lenguaje de consulta estructurado (SQL).
Detalles del modelo
Descripcion
En este proyecto se busco hacer fine-tuning a 2 modelos diferentes:
- Mistral 7B
- Code Llama Para ver cual arrojaba mejores resultados como base
Esto con el fin de crear un modelo el cual una persona sin ningun conocimiento en base de datos pueda hacer consultas a una base de datos y que esta responda con el dato a pedir
Uso
Aqui se muestra un link al github con los los notebooks de entreamiento de cada modelo
Primeramente se hizo un fine-tuning al modelo Code Llama para ver los resultados que nos daria
Como segundo modelo se utilizo Mistral7b este se hizo un fine-tuning con el modelo quantizado a 4bits para que pueda ser ejectuado en una mayor cantidad de equipos
Restulados
Todo esto con el fin de poder ver cual modelo da mejores rstulados para ver cual hacia un mejor ajuste pese a la poca cantidad de datos que se esperan aumentar en un futuro