Merge pull request #5 from almutareb/agent_as_tools

.devcontainer/Dockerfile

@@ -44,4 +44,6 @@ RUN echo "done 0" \
     && pyenv global ${PYTHON_VERSION} \
     && echo "done 3" \
     && curl -sSL https://install.python-poetry.org | python3 - \
-    && poetry config virtualenvs.in-project true
+    && poetry config virtualenvs.in-project true \
+    && echo "done 4" \
+    && pip install -r requirements.txt

app_gui.py

@@ -20,7 +20,6 @@ def bot(history):
 
     #history[-1][1] = print_this #response['answer']
     # Update the history with the bot's response
-    print(*response)
     history[-1][1] = response['output']
     return history
 
@@ -28,13 +27,16 @@ def bot(history):
 def infer(question, history):
     # Use the question and history to query the RAG model
     #result = qa({"query": question, "history": history, "question": question})
-    result = agent_executor.invoke(
-        {
-            "input": question,
-            "chat_history": history
-        }
-    )
-    return result
+    try:
+        result = agent_executor.invoke(
+            {
+                "input": question,
+                "chat_history": history
+            }
+        )
+        return result
+    except Exception:
+        raise gr.Error("Model is Overloaded, Please retry later!")
 
 # CSS styling for the Gradio interface
 css = """
@@ -53,9 +55,10 @@ with gr.Blocks(theme=gr.themes.Soft()) as demo:
     with gr.Column(elem_id="col-container"):
         gr.HTML(title)  # Add the HTML title to the interface
         chatbot = gr.Chatbot([], elem_id="chatbot",
-                                     bubble_full_width=False,
-                                     avatar_images=(None, "https://dacodi-production.s3.amazonaws.com/store/87bc00b6727589462954f2e3ff6f531c.png"),
-                                     height=680,)  # Initialize the chatbot component
+                                    label="BotTina 2.0",
+                                    bubble_full_width=False,
+                                    avatar_images=(None, "https://dacodi-production.s3.amazonaws.com/store/87bc00b6727589462954f2e3ff6f531c.png"),
+                                    height=680,)  # Initialize the chatbot component
         clear = gr.Button("Clear")  # Add a button to clear the chat
 
         # Create a row for the question input

core-langchain-rag.py

@@ -39,7 +39,7 @@ import time
 # import time
 # from langchain_community.vectorstores import FAISS
 # from langchain.vectorstores.utils import filter_complex_metadata
-# from langchain_community.embeddings import HuggingFaceEmbeddings
+# from langchain_huggingface import HuggingFaceEmbeddings
 
 # # Configure the text splitter
 # text_splitter = RecursiveCharacterTextSplitter(

example.env

@@ -5,23 +5,25 @@ GOOGLE_API_KEY=""
 
 # Vectorstore storage on S3 and locally
 S3_LOCATION="rad-rag-demos"
-#faiss-insurance-agent-mpnet-1500.zip
-FAISS_VS_NAME="vectorstores/faiss-insurance-agent-MiniLM-1500.zip"
-#chroma-insurance-agent-mpnet-1500.zip
-CHROMA_VS_NAME="vectorstore/chroma-insurance-agent-MiniLM-1500.zip"
-FAISS_INDEX_PATH = "./vectorstore/faiss-insurance-agent-500"
-CHROMA_DIRECTORY = "./vectorstore/chroma-insurance-agent-500"
+#FAISS_VS_NAME="vectorstores/faiss-insurance-agent-mpnet-1500.zip"
+#FAISS_VS_NAME="vectorstores/faiss-insurance-agent-MiniLM-L12-1500.zip"
+FAISS_VS_NAME="vectorstores/faiss-insurance-agent-multilingual-cased-1500.zip"
+CHROMA_VS_NAME="vectorstores/chroma-insurance-agent-multilingual-cased-1500.zip"
+#CHROMA_VS_NAME="vectorstores/chroma-insurance-agent-mpnet-1500.zip"
+#CHROMA_VS_NAME="vectorstore/chroma-insurance-agent-MiniLM-L12-1500.zip"
+FAISS_INDEX_PATH = "./vectorstore/faiss-insurance-agent-multilingual-cased-1500"
+CHROMA_DIRECTORY = "./vectorstore/chroma-insurance-agent-multilingual-cased-500"
 
 # for chromadb
-VECTOR_DATABASE_LOCATION="./vectorstore/chroma-insurance-agent-1500"
+VECTOR_DATABASE_LOCATION="./vectorstore/chroma-insurance-agent-multilingual-cased-500"
 
-# Name for the Conversation Memory Collection
-CONVERSATION_COLLECTION_NAME="ConversationMemory"
+# for storing search results
+SOURCES_CACHE = 'rag_app/database/source_cache.sqlite3'
 
 # llm and embedding models
 #EMBEDDING_MODEL="sentence-transformers/multi-qa-mpnet-base-dot-v1"
-EMBEDDING_MODEL="sentence-transformers/distiluse-base-multilingual-cased-v2" #512 dims
-#EMBEDDING_MODEL="sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2" #384 dims
+EMBEDDING_MODEL="sentence-transformers/distiluse-base-multilingual-cased-v2" 
+#384 dims
+#EMBEDDING_MODEL="sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2" 
 LLM_MODEL="mistralai/Mixtral-8x7B-Instruct-v0.1"
 LLM_MODEL_ARGS=
-

rag_app/agents/kb_retriever_agent.py

@@ -0,0 +1,72 @@
+# HF libraries
+from langchain_huggingface import HuggingFaceEndpoint
+from langchain.agents import AgentExecutor
+from langchain.agents.format_scratchpad import format_log_to_str
+from langchain.agents.output_parsers import ReActJsonSingleInputOutputParser
+# Import things that are needed generically
+from langchain.tools.render import render_text_description
+import os
+from dotenv import load_dotenv
+from rag_app.structured_tools.structured_tools import (
+    google_search, knowledgeBase_search
+)
+
+from langchain.prompts import PromptTemplate
+from rag_app.templates.react_json_ger import template_system
+# from rag_app.utils import logger
+
+# set_llm_cache(SQLiteCache(database_path=".cache.db"))
+# logger = logger.get_console_logger("hf_mixtral_agent")
+
+config = load_dotenv(".env")
+HUGGINGFACEHUB_API_TOKEN = os.getenv('HUGGINGFACEHUB_API_TOKEN')
+GOOGLE_CSE_ID = os.getenv('GOOGLE_CSE_ID')
+GOOGLE_API_KEY = os.getenv('GOOGLE_API_KEY')
+LLM_MODEL = os.getenv('LLM_MODEL')
+
+# Load the model from the Hugging Face Hub
+llm = HuggingFaceEndpoint(repo_id=LLM_MODEL, 
+                          temperature=0.1, 
+                          max_new_tokens=1024,
+                          repetition_penalty=1.2,
+                          return_full_text=False
+    )
+
+
+tools = [
+    knowledgeBase_search,
+    google_search,
+    ]
+
+prompt = PromptTemplate.from_template(
+    template=template_system
+)
+prompt = prompt.partial(
+    tools=render_text_description(tools),
+    tool_names=", ".join([t.name for t in tools]),
+)
+
+
+# define the agent
+chat_model_with_stop = llm.bind(stop=["\nObservation"])
+agent = (
+    {
+        "input": lambda x: x["input"],
+        "agent_scratchpad": lambda x: format_log_to_str(x["intermediate_steps"]),
+        #"chat_history": lambda x: x["chat_history"],
+    }
+    | prompt
+    | chat_model_with_stop
+    | ReActJsonSingleInputOutputParser()
+)
+
+# instantiate AgentExecutor
+agent_worker = AgentExecutor(
+    agent=agent, 
+    tools=tools, 
+    verbose=True,
+    max_iterations=10,       # cap number of iterations
+    #max_execution_time=60,  # timout at 60 sec
+    return_intermediate_steps=True,
+    handle_parsing_errors=True,
+    )

rag_app/agents/react_agent.py

@@ -7,12 +7,12 @@ from langchain.agents.output_parsers import ReActJsonSingleInputOutputParser
 from langchain.tools.render import render_text_description
 import os
 from dotenv import load_dotenv
-from rag_app.structured_tools.structured_tools import (
-    google_search, knowledgeBase_search
+from rag_app.structured_tools.agent_tools import (
+    web_research, ask_user, get_email
 )
 
 from langchain.prompts import PromptTemplate
-from rag_app.templates.react_json_with_memory import template_system
+from rag_app.templates.react_json_with_memory_ger import template_system
 # from innovation_pathfinder_ai.utils import logger
 # from langchain.globals import set_llm_cache
 # from langchain.cache import SQLiteCache
@@ -24,13 +24,14 @@ config = load_dotenv(".env")
 HUGGINGFACEHUB_API_TOKEN = os.getenv('HUGGINGFACEHUB_API_TOKEN')
 GOOGLE_CSE_ID = os.getenv('GOOGLE_CSE_ID')
 GOOGLE_API_KEY = os.getenv('GOOGLE_API_KEY')
+LLM_MODEL = os.getenv('LLM_MODEL')
 # LANGCHAIN_TRACING_V2 = "true"
 # LANGCHAIN_ENDPOINT = "https://api.smith.langchain.com"
 # LANGCHAIN_API_KEY = os.getenv('LANGCHAIN_API_KEY')
 # LANGCHAIN_PROJECT = os.getenv('LANGCHAIN_PROJECT')
 
 # Load the model from the Hugging Face Hub
-llm = HuggingFaceEndpoint(repo_id="mistralai/Mixtral-8x7B-Instruct-v0.1", 
+llm = HuggingFaceEndpoint(repo_id=LLM_MODEL, 
                           temperature=0.1, 
                           max_new_tokens=1024,
                           repetition_penalty=1.2,
@@ -39,8 +40,11 @@ llm = HuggingFaceEndpoint(repo_id="mistralai/Mixtral-8x7B-Instruct-v0.1",
 
 
 tools = [
-    knowledgeBase_search,
-    google_search,
+    #knowledgeBase_search,
+    #google_search,
+    web_research,
+    ask_user,
+    get_email
     ]
 
 prompt = PromptTemplate.from_template(

rag_app/knowledge_base/build_vector_store.py

@@ -6,6 +6,7 @@ from langchain_community.vectorstores import Chroma
 #from langchain_community.embeddings.sentence_transformer import (
 #    SentenceTransformerEmbeddings,
 #)
+#from langchain_huggingface import HuggingFaceEmbeddings
 from langchain_community.retrievers import BM25Retriever
 from rag_app.knowledge_base.create_embedding import create_embeddings
 from rag_app.utils.generate_summary import generate_description, generate_keywords

rag_app/loading_data/load_S3_vector_stores.py

@@ -5,12 +5,13 @@ from botocore.client import Config
 import zipfile
 from langchain_community.vectorstores import FAISS
 from langchain_community.vectorstores import Chroma
-from langchain_huggingface import HuggingFaceEmbeddings
+from langchain_community.embeddings.sentence_transformer import (
+    SentenceTransformerEmbeddings,
+)
 from dotenv import load_dotenv
 import os
 import sys
 import logging
-from pathlib import Path
 
 # Load environment variables from a .env file
 config = load_dotenv(".env")
@@ -27,10 +28,7 @@ EMBEDDING_MODEL = os.getenv("EMBEDDING_MODEL")
 model_name = EMBEDDING_MODEL
 #model_kwargs = {"device": "cuda"}
 
-embeddings = HuggingFaceEmbeddings(
-    model_name=model_name,
-#    model_kwargs=model_kwargs
-    )
+embeddings = SentenceTransformerEmbeddings(model_name=model_name)
 
 ## FAISS
 def get_faiss_vs():
@@ -39,7 +37,6 @@ def get_faiss_vs():
 
     # Define the destination for the downloaded file
     VS_DESTINATION = FAISS_INDEX_PATH + ".zip"
-    
     try:
         # Download the pre-prepared vectorized index from the S3 bucket
         print("Downloading the pre-prepared FAISS vectorized index from S3...")
@@ -49,36 +46,11 @@ def get_faiss_vs():
         with zipfile.ZipFile(VS_DESTINATION, 'r') as zip_ref:
             zip_ref.extractall('./vectorstore/')
         print("Download and extraction completed.")
-        return FAISS.load_local(FAISS_INDEX_PATH, embeddings,allow_dangerous_deserialization=True)
+        return FAISS.load_local(FAISS_INDEX_PATH, embeddings, allow_dangerous_deserialization=True)
         
     except Exception as e:
         print(f"Error during downloading or extracting from S3: {e}", file=sys.stderr)
-    # faissdb = FAISS.load_local(FAISS_INDEX_PATH, embeddings)
-
-
-def get_faiss_vs_from_s3(s3_loc:str, 
-                         s3_vs_name:str,
-                         vs_dir:str='vectorstore') -> None:
-    """ Download the FAISS vector store from S3 bucket
-
-        Args:
-            s3_loc (str): Name of the S3 bucket
-            s3_vs_name (str): Name of the file to be downloaded
-            vs_dir (str): The name of the directory where the file is to be saved
-    """
-    # Initialize an S3 client with unsigned configuration for public access
-    s3 = boto3.client('s3', config=Config(signature_version=UNSIGNED))
-    # Destination folder
-    vs_dir_path = Path("..") / vs_dir
-    assert vs_dir_path.is_dir(), "Cannot find vs_dir folder"
-    try:
-        vs_destination = Path("..") / vs_dir / "faiss-insurance-agent-500.zip"
-        s3.download_file(s3_loc, s3_vs_name, vs_destination)
-        # Extract the downloaded zip file
-        with zipfile.ZipFile(file=vs_destination, mode='r') as zip_ref:
-            zip_ref.extractall(path=vs_dir_path.as_posix())
-    except Exception as e:
-        print(f"Error during downloading or extracting from S3: {e}", file=sys.stderr)
+    #faissdb = FAISS.load_local(FAISS_INDEX_PATH, embeddings)
 
 
 ## Chroma DB
@@ -95,12 +67,6 @@ def get_chroma_vs():
             zip_ref.extractall('./vectorstore/')
         print("Download and extraction completed.")
         chromadb = Chroma(persist_directory=CHROMA_DIRECTORY, embedding_function=embeddings)
-        chromadb.get()
+        #chromadb.get()
     except Exception as e:
-        print(f"Error during downloading or extracting from S3: {e}", file=sys.stderr)
-
-
-if __name__ == "__main__":
-    # get_faiss_vs_from_s3(s3_loc=S3_LOCATION, s3_vs_name=FAISS_VS_NAME)
-    pass
-    
+        print(f"Error during downloading or extracting from S3: {e}", file=sys.stderr)

rag_app/structured_tools/agent_tools.py

@@ -0,0 +1,31 @@
+from langchain.tools import BaseTool, StructuredTool, tool
+from langchain_community.tools import HumanInputRun
+from rag_app.agents.kb_retriever_agent import agent_worker
+from operator import itemgetter
+from typing import Dict, List
+
+@tool
+def web_research(query: str) -> List[dict]:
+    """Verbessere die Ergebnisse durch eine Suche über die Webseite der Versicherung. Erstelle eine neue Suchanfrage, um die Erfolgschancen zu verbesseren."""
+    
+    result = agent_worker.invoke(
+        {
+            "input": query
+        }
+    )
+    #print(result)
+    return result
+
+@tool
+def ask_user(query: str) -> str:
+    """Frage den Benutzer direkt wenn du nicht sicher bist was er meint oder du eine Entscheidung brauchst."""
+    
+    result = HumanInputRun.invoke(query)
+    return result
+
+@tool
+def get_email(query: str) -> str:
+    """Frage den Benutzer nach seiner EMail Adresse, wenn du denkst du hast seine Anfrage beantwortet hast, damit wir ihm mehr Informationen im Anschluss zu senden kannst."""
+
+    result = HumanInputRun.invoke(query)
+    return result

rag_app/structured_tools/structured_tools.py

@@ -22,6 +22,7 @@ import os
 # from innovation_pathfinder_ai.utils import create_wikipedia_urls_from_text
 
 persist_directory = os.getenv('VECTOR_DATABASE_LOCATION')
+embedding_model = os.getenv("EMBEDDING_MODEL")
 
 @tool
 def memory_search(query:str) -> str:
@@ -36,7 +37,7 @@ def memory_search(query:str) -> str:
     #store using envar
     
     embedding_function = SentenceTransformerEmbeddings(
-        model_name=os.getenv("EMBEDDING_MODEL"),
+        model_name=embedding_model,
         )
     
     vector_db = Chroma(
@@ -54,24 +55,24 @@ def memory_search(query:str) -> str:
 def knowledgeBase_search(query:str) -> str:
     """Suche die interne Datenbank nach passenden Versicherungsprodukten und Informationen zu den Versicherungen"""
     # Since we have more than one collections we should change the name of this tool
-    client = chromadb.PersistentClient(
-     path=persist_directory,
-    )
+    # client = chromadb.PersistentClient(
+    #  path=persist_directory,
+    # )
     
     #collection_name="ArxivPapers"
     #store using envar
     
     embedding_function = SentenceTransformerEmbeddings(
-        model_name=os.getenv("EMBEDDING_MODEL"),
+        model_name=embedding_model
         )
     
-    vector_db = Chroma(
-    client=client, # client for Chroma
-    #collection_name=collection_name,
-    embedding_function=embedding_function,
-    )
-    
-    retriever = vector_db.as_retriever()
+    # vector_db = Chroma(
+    # client=client, # client for Chroma
+    # #collection_name=collection_name,
+    # embedding_function=embedding_function,
+    # )
+    vector_db = Chroma(persist_directory=persist_directory, embedding_function=embedding_function)
+    retriever = vector_db.as_retriever(search_type="mmr", search_kwargs={'k':5, 'fetch_k':10})
     # This is deprecated, changed to invoke
     # LangChainDeprecationWarning: The method `BaseRetriever.get_relevant_documents` was deprecated in langchain-core 0.1.46 and will be removed in 0.3.0. Use invoke instead.
     docs = retriever.invoke(query)
@@ -83,7 +84,6 @@ def knowledgeBase_search(query:str) -> str:
 @tool
 def google_search(query: str) -> str:
     """Verbessere die Ergebnisse durch eine Suche über die Webseite der Versicherung. Erstelle eine neue Suchanfrage, um die Erfolgschancen zu verbesseren."""
-    global all_sources
     
     websearch = GoogleSearchAPIWrapper()
     search_results:dict = websearch.results(query, 3)

rag_app/templates/react_json_ger.py

@@ -0,0 +1,45 @@
+template_system = """
+Du bist ein freundlicher Versicherungsexperte. Deine Aufgabe ist es, Kunden dabei zu helfen, die besten Produkte zu finden.
+Du hilfst dem Nutzer, die passenden Dokumente zu finden, die seine Fragen beantworten und Produkte und Bedingungen erklären.
+Erstelle Suchanfragen in Deutscher Sprache, um passende Dokumente in der Datenbank für die folgenden Anfragen so gut du kannst zu finden. 
+Du hast Zugriff auf die folgenden Tools:
+
+<TOOLS>
+{tools}
+</TOOLS>
+
+Du verwendest die Tools, indem du einen JSON-Blob angibst.
+Insbesondere sollte dieser JSON einen Schlüssel „action“ (mit dem Namen des zu verwendenden Tools) und einen Schlüssel „action_input“ (mit der Eingabe für das Tool hierhin) haben.
+
+Die einzigen Werte, die im Feld „action“ enthalten sein sollten, sind: {tool_names}
+
+Das $JSON_BLOB sollte nur EINE EINZIGE Aktion enthalten, gebe KEINE Liste mit mehreren Aktionen zurück. Hier ist ein Beispiel für ein gültiges $JSON_BLOB:
+
+```
+{{
+"action": $TOOL_NAME,
+"action_input": $INPUT
+}}
+```
+
+Verwende IMMER das folgende Format:
+
+Frage: die Eingabefrage, die du beantworten musst
+Gedanke: Du solltest immer darüber nachdenken, was zu tun ist
+Aktion:
+```
+$JSON_BLOB
+```
+Beobachtung: das Ergebnis der Aktion
+... (dieser Gedanke/diese Aktion/diese Beobachtung kann N-mal wiederholt werden)
+Gedanke: Ich kenne jetzt die endgültige Antwort
+Final Answer: die endgültige Antwort auf die ursprüngliche Eingabefrage
+
+Beginne! Denke daran, beim Antworten immer die genauen Zeichen `Final Answer` zu verwenden.
+
+<NEW_INPUT>
+{input}
+</NEW_INPUT>
+
+{agent_scratchpad}
+"""

rag_app/templates/react_json_with_memory.py

@@ -1,4 +1,6 @@
 template_system = """
+You are a friendly insurance product advisor, your task is to help customers find the best products from Württembergische GmbH.\
+You help the user find the answers to all his questions queries. Answer in short and simple terms and offer to explain the product and terms to the user.\
 Answer the following questions as best you can. You have access to the following tools:
 
 <TOOLS>

rag_app/templates/react_json_with_memory_ger.py

@@ -0,0 +1,51 @@
+template_system = """
+Du bist ein freundlicher Versicherungsproduktberater. Deine Aufgabe ist es, Kunden dabei zu helfen, die besten Produkte der Württembergische GmbH zu finden\
+und ihnen mehr informationen dazu per Email zusenden, wenn du seine Fragen beanwortest hast.\
+Hilfe dem Benutzer, Antworten auf seine Fragen zu finden. Antworte kurz und einfach und biete an, dem Benutzer das Produkt und die Bedingungen zu erklären.\
+Beantworte die folgenden Fragen so gut du kannst. Du hast Zugriff auf die folgenden Tools:
+
+<TOOLS>
+{tools}
+</TOOLS>
+
+Sie verwenden die Tools, indem Sie einen JSON-Blob angeben.
+
+Insbesondere sollte dieser JSON einen Schlüssel „action“ (mit dem Namen des zu verwendenden Tools) und einen Schlüssel „action_input“ (mit der Eingabe für das Tool hierhin) haben.
+
+Die einzigen Werte, die im Feld „action“ enthalten sein sollten, sind: {tool_names}
+
+Das $JSON_BLOB sollte nur EINE EINZIGE Aktion enthalten, geben Sie KEINE Liste mehrerer Aktionen zurück. Hier ist ein Beispiel für ein gültiges $JSON_BLOB:
+
+```
+{{
+"action": $TOOL_NAME,
+"action_input": $INPUT
+}}
+```
+
+Verwenden Sie IMMER das folgende Format:
+
+Frage: die Eingabefrage, die Sie beantworten müssen
+Gedanke: Sie sollten immer darüber nachdenken, was zu tun ist
+Aktion:
+```
+$JSON_BLOB
+```
+Beobachtung: das Ergebnis der Aktion
+... (dieser Gedanke/diese Aktion/diese Beobachtung kann N-mal wiederholt werden)
+Gedanke: Ich kenne jetzt die endgültige Antwort
+Final Answer: die endgültige Antwort auf die ursprüngliche Eingabefrage
+
+Beginne! Denke daran, beim Antworten immer die genauen Zeichen `Final Answer` zu verwenden.
+
+Vorheriger Gesprächsverlauf:
+<CONVERSATION_HISTORY>
+{chat_history}
+</CONVERSATION_HISTORY>
+
+<NEW_INPUT>
+{input}
+</NEW_INPUT>
+
+{agent_scratchpad}
+"""