Update app.py

app.py

@@ -3,6 +3,7 @@ import logging
 import asyncio
 import uvicorn
 import torch
+import random
 from transformers import AutoModelForCausalLM, AutoTokenizer
 from fastapi import FastAPI, Query, HTTPException
 from fastapi.responses import HTMLResponse
@@ -23,9 +24,6 @@ message_history = []
 # Lista para almacenar los tokens
 tokens_history = []
 
-# Bandera para verificar si los tokens han sido cargados
-tokens_loaded = False
-
 # Función para cargar modelos
 async def load_models():
     programming_models = [
@@ -178,35 +176,43 @@ async def main():
 # Ruta para la generación de respuestas
 @app.get('/autocomplete')
 async def autocomplete(q: str = Query(...)):
-    global data_and_models_dict, message_history, tokens_history, tokens_loaded
+    global data_and_models_dict, message_history, tokens_history
 
     # Verificar si hay modelos cargados
     if 'model' not in data_and_models_dict:
         await download_models()
 
-    # Cargar tokens solo una vez
-    if not tokens_loaded:
-        model, tokenizer = data_and_models_dict['model']
-
-        # Generar tokens de entrada
-        input_ids = tokenizer.encode(q, return_tensors="pt")
-        tokens_history.append({"input": input_ids.tolist()})  # Guardar tokens de entrada
-
-        # Generar una respuesta utilizando el modelo
-        output = model.generate(input_ids, max_length=50, num_return_sequences=1)
-        response_text = tokenizer.decode(output[0], skip_special_tokens=True)
-
-        # Generar tokens de salida
-        output_ids = output[0].tolist()
-        tokens_history.append({"output": output_ids})  # Guardar tokens de salida
-
-        # Guardar eos y pad tokens
-        eos_token = tokenizer.eos_token_id
-        pad_token = tokenizer.pad_token_id
-        tokens_history.append({"eos_token": eos_token, "pad_token": pad_token})
-
-        # Marcar tokens como cargados
-        tokens_loaded = True
+    # Cargar el modelo y el tokenizer
+    model, tokenizer = data_and_models_dict['model']
+    
+    # Generar tokens de entrada
+    input_ids = tokenizer.encode(q, return_tensors="pt")
+    tokens_history.append({"input": input_ids.tolist()})  # Guardar tokens de entrada
+
+    # Generar parámetros aleatorios
+    top_k = random.randint(0, 50)
+    top_p = random.uniform(0.8, 1.0)
+    temperature = random.uniform(0.7, 1.5)
+
+    # Generar una respuesta utilizando el modelo
+    output = model.generate(
+        input_ids,
+        max_length=50,
+        top_k=top_k,
+        top_p=top_p,
+        temperature=temperature,
+        num_return_sequences=1
+    )
+    response_text = tokenizer.decode(output[0], skip_special_tokens=True)
+
+    # Generar tokens de salida
+    output_ids = output[0].tolist()
+    tokens_history.append({"output": output_ids})  # Guardar tokens de salida
+
+    # Guardar eos y pad tokens
+    eos_token = tokenizer.eos_token_id
+    pad_token = tokenizer.pad_token_id
+    tokens_history.append({"eos_token": eos_token, "pad_token": pad_token})
 
     # Guardar el mensaje del usuario en el historial
     message_history.append(q)