Modelo: Strawbit-3.1-8b-it-v1
Descripci贸n
Strawbit-3.1-8b-it-v1 es un modelo de lenguaje ajustado a partir del modelo base Meta-Llama-3.1-8B-Instruct utilizando cuantizaci贸n de 4 bits y adaptaci贸n LoRA (Low-Rank Adaptation). Este modelo est谩 dise帽ado para mejorar las capacidades de razonamiento cr铆tico en espa帽ol, optimizado para ejecutarse en hardware con recursos limitados, como GPUs con menor memoria, gracias a las t茅cnicas de compresi贸n y optimizaci贸n utilizadas.
El modelo ha sido ajustado para seguir instrucciones espec铆ficas, proporcionando un an谩lisis detallado y razonado de problemas, lo que lo hace adecuado para aplicaciones de razonamiento l贸gico y cr铆tico en espa帽ol.
Prompt Base
El modelo fue entrenado para seguir este prompt base al generar contenido:
Primero, analiza el problema dentro de las etiquetas <thinking>, luego revisa cr铆ticamente en las etiquetas <reflection>, y finalmente ofrece la conclusi贸n en las etiquetas <output>.
Detalles T茅cnicos
- Modelo base: Meta-Llama-3.1-8B-Instruct
- Tama帽o: 8B par谩metros
- Cuantizaci贸n: 4-bit (NF4) usando la biblioteca
bitsandbytes
- Adaptaci贸n: LoRA con 8 dimensiones (
r=8
),lora_alpha=16
ylora_dropout=0.1
- Tarea: Modelo de lenguaje causal (Causal LM)
- Idioma: Espa帽ol
- Entrenamiento supervisado (SFT): Utiliza entrenamiento supervisado para ajuste fino con un dataset orientado al razonamiento l贸gico
- Tipo de modelo:
AutoModelForCausalLM
Proceso de Conversi贸n
El modelo fue ajustado utilizando LoRA y cuantizaci贸n de 4 bits para mejorar la eficiencia en memoria y permitir el ajuste fino del modelo en hardware de recursos limitados. Tambi茅n se realiz贸 un proceso de fusi贸n y descarga para guardar el modelo final.
Uso con llama.cpp
Instalaci贸n: Instala
llama.cpp
a trav茅s de brew (funciona en Mac y Linux):brew install llama.cpp
Uso con CLI:
llama-cli --hf-repo Nichonauta/strawbit-3.1-8b-it-v1-Q4_0-GGUF --hf-file strawbit-3.1-8b-it-v1-q4_0.gguf -p "Analiza el impacto del cambio clim谩tico en la biodiversidad."
Uso con servidor:
llama-server --hf-repo Nichonauta/strawbit-3.1-8b-it-v1-Q4_0-GGUF --hf-file strawbit-3.1-8b-it-v1-q4_0.gguf -c 2048
Uso en LM Studio
El modelo Strawbit-3.1-8b-it-v1 est谩 disponible para su uso en LM Studio, una aplicaci贸n de escritorio que facilita la ejecuci贸n de modelos de lenguaje sin necesidad de configuraciones complejas. Para utilizar el modelo:
- Descarga e instala LM Studio desde su sitio oficial.
- Carga el modelo desde Hugging Face o en formato GGUF para su uso en el entorno de LM Studio.
- Ejecuta consultas o prompts en el modelo f谩cilmente desde la interfaz gr谩fica de LM Studio.
Uso en Ollama
El modelo tambi茅n est谩 disponible en Ollama, una herramienta similar a LM Studio que permite interactuar con modelos de lenguaje de manera local. Sigue los pasos a continuaci贸n:
- Instala Ollama desde su p谩gina oficial.
- Accede al modelo desde Ollama - Nichonauta/strawbit-3.1-8b-it-v1.
- Ejecuta el modelo directamente en tu dispositivo.
Configuraci贸n de Entrenamiento
Hiperpar谩metros:
- Tama帽o de lote por dispositivo: 8
- Pasos de acumulaci贸n de gradientes: 4
- M谩ximo de pasos de entrenamiento: 375
- Learning rate: 3e-5
- Optimizador: AdamW
- Decaimiento del peso: 0.01
- Estrategia de guardado: Guardado cada 50 pasos
- Estrategia de evaluaci贸n: Evaluaci贸n cada 50 pasos
- Tolerancia de "early stopping": 3 evaluaciones sin mejora
Dataset: El modelo fue entrenado con un dataset que promueve el razonamiento cr铆tico y la reflexi贸n, utilizando una estructura de prompts que gu铆a el proceso de an谩lisis y conclusi贸n.
Uso
Este modelo est谩 dise帽ado para analizar problemas y realizar razonamientos cr铆ticos en espa帽ol siguiendo una plantilla estructurada. Puedes cargar el modelo directamente desde Hugging Face y comenzar a generar an谩lisis con la siguiente estructura de prompt:
from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = "strawbit-3.1-8b-it-v1"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)
prompt = """
Primero, analiza el problema dentro de las etiquetas <thinking>, luego revisa cr铆ticamente en las etiquetas <reflection>, y finalmente ofrece la conclusi贸n en las etiquetas <output>.
"""
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs)
print(tokenizer.decode(outputs[0]))
Aplicaciones
- An谩lisis y razonamiento cr铆tico: Ideal para realizar an谩lisis detallados y reflexionar sobre problemas complejos en espa帽ol.
- Resoluci贸n de problemas: Generaci贸n de razonamientos estructurados que siguen una secuencia l贸gica de an谩lisis, reflexi贸n y conclusi贸n.
Licencia y Cumplimiento
El modelo base se ajusta a la Meta AI License Agreement. Al utilizar, reproducir, modificar o distribuir este modelo, debes cumplir con los siguientes requisitos:
- Distribuci贸n: Incluir la cl谩usula de restricciones de uso y proporcionar una copia del acuerdo de licencia a todos los terceros destinatarios del modelo.
- Modificaciones: Cualquier modificaci贸n del modelo debe incluir un aviso prominente de que se ha modificado y seguir las restricciones de uso especificadas en la licencia.
- Prohibiciones: No usar el modelo para fines prohibidos especificados en la pol铆tica de uso de Meta.
Resultados del Entrenamiento
- El modelo mostr贸 una mejora continua en su capacidad de razonamiento cr铆tico a lo largo del entrenamiento.
Limitaciones
- Idioma: El modelo est谩 dise帽ado para el idioma espa帽ol.
- Datos de entrenamiento: Limitado al dataset de entrenamiento proporcionado.
- Cuantizaci贸n: La cuantizaci贸n a 4 bits puede llevar a una ligera degradaci贸n en la calidad del razonamiento en problemas muy complejos.
Recursos
- Modelo base: Meta-Llama-3.1-8B-Instruct
- Repositorio de llama.cpp: GitHub - llama.cpp
- Repositorio del modelo en Hugging Face: Nichonauta/strawbit-3.1-8b-it-v1-Q4_0-GGUF
- LM Studio: https://lmstudio.ai/
- Ollama - Nichonauta/strawbit-3.1-8b-it-v1: https://ollama.com/nichonauta/strawbit-3.1-8b-it-v1
Autores y Contribuciones
Este modelo fue ajustado por el equipo Nichonauta. Vis铆tanos en:
- YouTube: Nichonauta
- Sitio web: https://nichonauta.com
- Downloads last month
- 38
Model tree for Nichonauta/strawbit-3.1-8b-it-v1-Q4_0-GGUF
Base model
meta-llama/Llama-3.1-8B