Update prompt_demo_inference.py

prompt_demo_inference.py

@@ -1,13 +1,10 @@
-#Full demo of the Guillaume-Tell reference model with two references.
-#Guillaume-Tell is currently trained by default on five references but future version will enhance the flexibility of the model.L
+#Full demo of the Guillaume-Tell reference model with three references.
+#Guillaume-Tell is currently trained by default on five references but future version will enhance the flexibility of the model.
 
 #Example of generated text:
-#Il est difficile de déterminer le meilleur moyen de cuire une blanquette avec les informations disponibles. 
-#Cependant, voici un résumé des références fournies:
-#La blanquette peut être préparée avec du beurre et une sauce épaisse pour rendre le plat plus savoureux<ref text="Moi j'aime la blanquette avec du beurre dedans Et une sauce bien épaisse.">hash49080805</ref>.
-#Une autre méthode possible consiste à faire chauffer la blanquette à feu doux pendant 46 heures<ref text="(Recette de blanquette : faîtes chauffer la blanquette à feu doux pendant 46 heures.)">hash49080806</ref>. 
-#Ces deux références ne permettent pas de donner une réponse définitive sur le meilleur moyen de cuire une blanquette.
-
+#Le meilleur moyen de cuire une blanquette est d'utiliser un mélange de viande et de légumes, tels que des champignons de Paris<ref text="Les meilleures blanquettes se font avec des champignons de Paris">hash49080806</ref>. 
+#Il est recommandé de faire chauffer la blanquette à feu doux pendant 46 heures<ref text="faîtes chauffer la blanquette à feu doux pendant 46 heures.">hash49080806</ref>.
+#Enfin, pour achever la préparation, il faut ajouter une crème fraîche, un jaune d’œuf et du jus de citron juste avant de servir<ref text="Dans un bol, bien mélanger la crème fraîche, le jaune d’oeuf et le jus de citron. Ajouter ce mélange au dernier moment, bien remuer et servir tout de suite.">hash49080806</ref>.
 
 import sys, os
 from pprint import pprint
@@ -29,6 +26,8 @@ def get_llm_response(prompt_template):
   prompt = prompt_template + generated_text
   return prompt, generated_text
 
+#Typical example:
+
 
 if __name__ == "__main__":
 
@@ -39,46 +38,69 @@ if __name__ == "__main__":
     print(config)
     print()
     for prompt in config["prompts"]:
-        print(f'--- prompt mode: {prompt["mode"]} ---')
-        env = Environment(loader=FileSystemLoader("."))
-        template = env.get_template(prompt["template"])
-
-        source = template.environment.loader.get_source(template.environment, template.name)
-        variables = meta.find_undeclared_variables(env.parse(source[0]))
-
-        print("variables:", variables)
-        print("---")
-
-        data = {
-            "query": "Quel est le meilleur moyen de cuire une blanquette?",
-            "chunks" : [
-                {
-                    "url": "http://data.gouv.fr",
-                    "h": "hash49080805",
-                    "title": "A chunk title",
-                    "text": "Moi j'aime la blanquette avec du beurre dedans\nEt une sauce bien épaisse.",
-                },
-                {
-                    "url": "http://...",
-                    "h": "hash49080806",
-                    "title": "A chunk title",
-                    "text": "text texs\ntext again ",
-                    "context": "Recette de blanquette : faîtes chauffer la blanquette à feu doux pendant 46 heures."
-                },
-
-            ]
-        }
-
-        if "system_prompt" in variables:
-            data["system_prompt"] = prompt["system_prompt"]
-
-        rendered_template = template.render(**data)
-        print(rendered_template)
-        print("---")
-
-        llm = LLM("mistral-mfs-reference/mistral-mfs-reference")
-
-        sampling_params = SamplingParams(temperature=0.4, top_p=0.95, max_tokens=1500)
-        
-        prompt, generated_text = get_llm_response(rendered_template)
-        print("Albert : ", generated_text)
+        if prompt["mode"] == "rag":
+            print(f'--- prompt mode: {prompt["mode"]} ---')
+            env = Environment(loader=FileSystemLoader("."))
+            template = env.get_template(prompt["template"])
+
+            source = template.environment.loader.get_source(template.environment, template.name)
+            variables = meta.find_undeclared_variables(env.parse(source[0]))
+
+            print("variables:", variables)
+            print("---")
+
+            data = {
+                "query": "Quel est le meilleur moyen de cuire une blanquette?",
+                "chunks" : [
+                    {
+                        "url": "http://data.gouv.fr",
+                        "h": "hash49080805",
+                        "title": "A chunk title",
+                        "text": "Moi j'aime la blanquette avec du beurre dedans\nEt une sauce bien épaisse.",
+                    },
+                    {
+                        "url": "http://...",
+                        "h": "hash49080806",
+                        "title": "A chunk title",
+                        "text": "faîtes chauffer la blanquette à feu doux pendant 46 heures.",
+                        "context": "Recette de blanquette"
+                    },
+                                    {
+                        "url": "http://...",
+                        "h": "hash49080806",
+                        "title": "A chunk title",
+                        "text": "Les meilleures blanquettes se font avec des champignons de Paris",
+                        "context": "Avis de grand-mère"
+                    },
+                                    {
+                        "url": "http://...",
+                        "h": "hash49080806",
+                        "title": "A chunk title",
+                        "text": """Étape 1 Faire revenir la viande dans un peu de beurre doux jusqu'à ce que les morceaux soient un peu dorés.
+                                Étape 2: Saupoudrer de 2 cuillères de farine. Bien remuer.
+                                Étape 3: Ajouter 2 ou 3 verres d'eau, les cubes de bouillon, le vin et remuer. Ajouter de l'eau si nécessaire pour couvrir.
+                                Étape 4: Couper les carottes en rondelles et émincer les oignons puis les incorporer à la viande, ainsi que les champignons.
+                                Étape 5: Laisser mijoter à feu très doux environ 1h30 à 2h00 en remuant.
+                                Étape 6: Si nécessaire, ajouter de l'eau de temps en temps.
+                                Étape 7: Dans un bol, bien mélanger la crème fraîche, le jaune d’oeuf et le jus de citron. Ajouter ce mélange au dernier moment, bien remuer et servir tout de suite.
+                                """,
+                        "context": "Recette Marmiton"
+                    },
+
+                ]
+            }
+
+            if "system_prompt" in variables:
+                data["system_prompt"] = prompt["system_prompt"]
+
+            rendered_template = template.render(**data)
+            print(rendered_template)
+            print("---")
+
+            llm = LLM("mistral-mfs-reference-2/mistral-mfs-reference-2")
+
+            sampling_params = SamplingParams(temperature=0.7, top_p=0.95, max_tokens=1500)
+            
+            prompt, generated_text = get_llm_response(rendered_template)
+            print("Albert : ", generated_text)
+