library_name: transformers
tags:
- unsloth
- LLMs-Aviation
- AI-Regulatory-Compliance
- RAC-AI-Colombia
license: apache-2.0
datasets:
- somosnlp/ColombiaRAC_FullyCurated
language:
- es
widget:
- text: >
<bos><start_of_turn>system\n\nYou are a helpful AI assistant.\n\nResponde
en formato json.\n\nEres un agente experto en la normativa aeronautica
Colombiana.<end_of_turn>\n\n<start_of_turn>user\n\n¿Qué sucede con las
empresas de servicios aéreos comerciales que no hayan actualizado su
permiso de operación después del 31 de marzo de
2024?<end_of_turn>\n\n<start_of_turn>model
GemmaColRAC-AeroExpertV4 🛫
Trained from the RAC Colombia dataset 🛫
Este documento proporciona una visión general de GemmaColRAC-AeroExpertV4, la cuarta versión de nuestro modelo de lenguaje especializado en regulaciones aeronáuticas colombianas. Esta versión representa un avance importante gracias a la mejora en precisión y eficiencia en el uso de los recursos de GPU, destacando nuestro esfuerzo continuo por desarrollar tecnologías de IA sostenibles y de alta calidad para la industria aeronáutica.
Hiperparámetros de Entrenamiento
- Tipo de GPU: NVIDIA A100-SXM4-40GB
- Tiempo Total de Entrenamiento: Aproximadamente 50 minutos (3007 segundos)
- Tasa de Aprendizaje: 0.00005
- Optimizador: Paged AdamW 8bit
- Pasos Máximos: 1638
- Tamaño de Secuencia: 2048
- Tamaño de Lote por Dispositivo: 1
- Versión de Transformers: 4.39.0
- Función de Activación: gelu_pytorch_tanh
- Framework de Optimización: Unsloth 2024.4
Innovaciones en Eficiencia con Unsloth
GemmaColRAC-AeroExpertV4 integra Unsloth, un framework de optimización que mejora la eficiencia en el entrenamiento de modelos de IA. Unsloth ha permitido reducir significativamente el tiempo y los recursos de GPU requeridos, logrando un entrenamiento más rápido y ecológico.
Comparación de Modelos
La versión GemmaColRAC-AeroExpertV4 muestra mejoras significativas sobre las versiones anteriores. La optimización en el uso de recursos, junto con la ampliación del tamaño de la secuencia, ha resultado en una mayor calidad y eficiencia del modelo.
Resultados
GemmaColRAC-AeroExpertV4 ha demostrado una capacidad excepcional para comprender y generar contenido regulatorio aeronáutico en español, siendo un recurso valioso para la industria.
Evaluación
Para la evaluación de GemmaColRAC-AeroExpertV4, hemos habilitado plataformas para que expertos en el campo realicen pruebas. Visita:
Impacto Ambiental
El desarrollo de GemmaColRAC-AeroExpertV4 se ha llevado a cabo con un enfoque en la sostenibilidad, optimizando la eficiencia y minimizando el impacto ambiental.
Más Información
Para obtener más detalles sobre GemmaColRAC-AeroExpertV4, incluyendo acceso al modelo y sus capacidades completas, visita nuestro repositorio en Hugging Face.