Update app.py

app.py

@@ -24,15 +24,6 @@ backend = Backend()
 
 cv2.setNumThreads(1)
 
-def load_topic_data(topic):
-    if topic:
-        query_engine = backend.create_index_for_query_engine(documents_paths[topic])
-        gr.Info(f"Data loaded for {topic} topic")
-        return query_engine
-    else:
-        gr.Warning("No topic selected. Please select a topic first.")
-        return None
-
 @spaces.GPU(duration=20)
 def respond(
     message,
@@ -44,14 +35,21 @@ def respond(
     top_p,
     top_k,
     repeat_penalty,
-    query_engine
+    selected_topic
 ):
     chat_template = MessagesFormatterType.GEMMA_2
 
-    if query_engine is None:
-        return history + [[message, "Please select a topic before asking questions."]]
+    print("HISTORY SO FAR ", history)
+    print("Selected topic:", selected_topic)
 
-    full_prompt = backend.generate_prompt(query_engine, message)
+    if selected_topic:
+        query_engine = backend.create_index_for_query_engine(documents_paths[selected_topic])
+        full_prompt = backend.generate_prompt(query_engine, message)
+        gr.Info(f"Relevant context indexed from {selected_topic} docs...")
+    else:
+        query_engine = backend.load_index_for_query_engine()
+        full_prompt = backend.generate_prompt(query_engine, message)
+        gr.Info("Relevant context extracted from db...")
 
     # Load model only if it's not already loaded or if a new model is selected
     if backend.llm is None or backend.llm_model != model:
@@ -96,21 +94,12 @@ def respond(
         outputs = ""
         for output in stream:
             outputs += output
-            yield history + [[message, outputs]]
+            yield history + [[message, outputs]]  # Use original message, not full_prompt
     except Exception as e:
         yield history + [[message, f"Error during response generation: {str(e)}"]]
 
 def select_topic(topic):
-    query_engine = load_topic_data(topic)
-    return (
-        gr.update(interactive=True),  # Enable the chat input
-        gr.update(interactive=True),  # Enable the submit button
-        gr.update(visible=True),      # Make the chatbot visible
-        gr.update(interactive=False), # Disable blockchain button
-        gr.update(interactive=False), # Disable metaverse button
-        gr.update(interactive=False), # Disable payment button
-        query_engine                  # Return the loaded query engine
-    )
+    return gr.update(visible=True), topic, gr.update(interactive=False), gr.update(interactive=False), gr.update(interactive=False)
 
 with gr.Blocks(css="""
     .gradio-container {
@@ -125,7 +114,7 @@ with gr.Blocks(css="""
         metaverse_btn = gr.Button("🌐 Metaverse", scale=1)
         payment_btn = gr.Button("💳 Payment", scale=1)
 
-    query_engine = gr.State(None)
+    selected_topic = gr.State(value="")
 
     chatbot = gr.Chatbot(
         scale=1,
@@ -140,9 +129,8 @@ with gr.Blocks(css="""
             show_label=False,
             placeholder="Inserisci il tuo messaggio...",
             container=False,
-            interactive=False
         )
-        submit_btn = gr.Button("Invia", scale=1, interactive=False)
+        submit_btn = gr.Button("Invia", scale=1)
 
     with gr.Accordion("Advanced Options", open=False):
         model = gr.Dropdown([
@@ -158,29 +146,26 @@ with gr.Blocks(css="""
         value="gemma-2-2b-it-Q6_K_L.gguf",
         label="Model"
         )
-        system_message = gr.Textbox(value="""Solamente all'inizio, presentati come Odi, un assistente ricercatore italiano creato dagli Osservatori del Politecnico di Milano e specializzato nel fornire risposte precise e pertinenti solo ad argomenti di innovazione digitale. 
-        Nel fornire la risposta cita il report da cui la hai ottenuta.
-        Utilizza la cronologia della chat o il contesto fornito per aiutare l'utente a ottenere una risposta accurata. 
-        Non rispondere mai a domande che non sono pertinenti a questi argomenti.""", label="System message")
+        system_message = gr.Textbox(value=""" Inizia presentandoti come "Odi", un assistente ricercatore italiano sviluppato dagli Osservatori del Politecnico di Milano, specializzato in innovazione digitale. Rispondi alle domande utilizzando esclusivamente i dati forniti tramite RAG. Se non trovi informazioni pertinenti, informa l'utente che non hai la risposta e suggerisci di contattare i responsabili dell'osservatorio, estraendo i loro nomi dai dati disponibili. Quando fornisci risposte, cita sempre il report specifico da cui hai ottenuto le informazioni. Utilizza la cronologia della chat e il contesto fornito per garantire risposte accurate e pertinenti. Non rispondere a domande fuori dal tuo ambito di competenza.""", label="System message")
         max_tokens = gr.Slider(minimum=1, maximum=4096, value=3048, step=1, label="Max tokens")
         temperature = gr.Slider(minimum=0.1, maximum=4.0, value=1.2, step=0.1, label="Temperature")
         top_p = gr.Slider(minimum=0.1, maximum=1.0, value=0.95, step=0.05, label="Top-p")
         top_k = gr.Slider(minimum=0, maximum=100, value=30, step=1, label="Top-k")
         repeat_penalty = gr.Slider(minimum=0.0, maximum=2.0, value=1.1, step=0.1, label="Repetition penalty")
 
-    blockchain_btn.click(lambda: select_topic("blockchain"), inputs=None, outputs=[msg, submit_btn, chatbot, blockchain_btn, metaverse_btn, payment_btn, query_engine])
-    metaverse_btn.click(lambda: select_topic("metaverse"), inputs=None, outputs=[msg, submit_btn, chatbot, blockchain_btn, metaverse_btn, payment_btn, query_engine])
-    payment_btn.click(lambda: select_topic("payment"), inputs=None, outputs=[msg, submit_btn, chatbot, blockchain_btn, metaverse_btn, payment_btn, query_engine])
+    blockchain_btn.click(lambda: select_topic("blockchain"), inputs=None, outputs=[chatbot, selected_topic, blockchain_btn, metaverse_btn, payment_btn])
+    metaverse_btn.click(lambda: select_topic("metaverse"), inputs=None, outputs=[chatbot, selected_topic, blockchain_btn, metaverse_btn, payment_btn])
+    payment_btn.click(lambda: select_topic("payment"), inputs=None, outputs=[chatbot, selected_topic, blockchain_btn, metaverse_btn, payment_btn])
 
     submit_btn.click(
         respond,
-        inputs=[msg, chatbot, model, system_message, max_tokens, temperature, top_p, top_k, repeat_penalty, query_engine],
+        inputs=[msg, chatbot, model, system_message, max_tokens, temperature, top_p, top_k, repeat_penalty, selected_topic],
         outputs=chatbot
     )
 
     msg.submit(
         respond,
-        inputs=[msg, chatbot, model, system_message, max_tokens, temperature, top_p, top_k, repeat_penalty, query_engine],
+        inputs=[msg, chatbot, model, system_message, max_tokens, temperature, top_p, top_k, repeat_penalty, selected_topic],
         outputs=chatbot
     )