Update README.md

README.md

@@ -1,5 +1,5 @@
 ---
-library_name: transformers
+library_name: peft
 tags:
 - Phi-2B
 - Portuguese
@@ -27,7 +27,7 @@ pipeline_tag: text-generation
 </p>
 
 Phi-Bode é um modelo de linguagem ajustado para o idioma português, desenvolvido a partir do modelo base Phi-2B fornecido pela [Microsoft](https://huggingface.co/microsoft/phi-2). Este modelo foi refinado através do processo de fine-tuning utilizando o dataset Alpaca traduzido para o português. O principal objetivo deste modelo é ser viável para pessoas
-que não possuem recursos computacionais disponíveis para o uso de LLMs (Large Language Models).
+que não possuem recursos computacionais disponíveis para o uso de LLMs (Large Language Models). Ressalta-se que este é um trabalho em andamento e o modelo ainda apresenta problemas na geração de texto em português.
 
 ## Características Principais
 
@@ -48,8 +48,6 @@ que não possuem recursos computacionais disponíveis para o uso de LLMs (Large
 | 7b-gguf                             |    | [recogna-nlp/bode-7b-alpaca-pt-br-gguf](https://huggingface.co/recogna-nlp/bode-7b-alpaca-pt-br-gguf)  |
 | 13b-gguf                             |    | [recogna-nlp/bode-13b-alpaca-pt-br-gguf](https://huggingface.co/recogna-nlp/bode-13b-alpaca-pt-br-gguf)  |
 
-
-
 ## Utilização
 
 O modelo Phi-Bode pode ser utilizado para uma variedade de tarefas de processamento de linguagem natural (PLN) em português, como geração de texto, classificação, sumarização de texto, entre outros.
@@ -58,6 +56,44 @@ O modelo Phi-Bode pode ser utilizado para uma variedade de tarefas de processame
 
 Abaixo, colocamos um exemplo simples de como carregar o modelo e gerar texto:
 
+```python
+!pip3 -q install -q -U bitsandbytes==0.42.0
+!pip3 -q install -q -U accelerate==0.27.1
+!pip3 -q install -q -U transformers==4.38.0
+
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+hf_auth = 'HF_ACCESS_KEY'
+
+model_id = "recogna-nlp/Phi-Bode"
+gembode = AutoModelForCausalLM.from_pretrained(model_id, device_map={"":0}, trust_remote_code=True, token=hf_auth)
+tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True, token=hf_auth)
+
+def get_completion(model, tokenizer, query : str, input : str = '', device = 'cuda:0', max_new_tokens=128) -> str:
+    if len(input) == 0:
+      prompt_template = """Abaixo está uma instrução que descreve uma tarefa. Escreva uma resposta que complete adequadamente o pedido.
+      ### Instrução: {query}
+      ### Resposta:"""
+      prompt = prompt_template.format(query=query)
+    else:
+      prompt_template = """Abaixo está uma instrução que descreve uma tarefa, juntamente com uma entrada que fornece mais contexto. Escreva uma resposta que complete adequadamente o pedido.
+      ### Instrução: {query}
+      ### Entrada: {input}
+      ### Resposta:"""
+      prompt = prompt_template.format(query=query, input=input)
+    encodeds = tokenizer(prompt, return_tensors="pt", add_special_tokens=True)
+    model_inputs = encodeds.to(device)
+    generated_ids = model.generate(**model_inputs,
+                                   max_new_tokens=max_new_tokens,
+                                   do_sample=True,
+                                   pad_token_id=tokenizer.eos_token_id)
+    decoded = tokenizer.decode(generated_ids[0], skip_special_tokens=True)
+    return (decoded[len(prompt):])
+
+result = get_completion(model=gembode, tokenizer=tokenizer, query="Qual é a capital da França?")
+print(result)
+#Exemplo de resposta obtida: A capital da França é Paris. A cidade tem uma estratégia de transporte moderno difícil entre todos os lugares, incluindo ferroviário, busca, metro e línguações. Para obter uma avaliação completa da cidade, visita esta aumentar a experiência gastronômica, cultural e natural.
+```
 
 ## Contribuições
 Contribuições para a melhoria deste modelo são bem-vindas. Sinta-se à vontade para abrir problemas e solicitações pull.
@@ -70,4 +106,4 @@ Se você deseja utilizar o Phi-Bode em sua pesquisa, cite-o da seguinte maneira:
       author={Gabriel Lino Garcia and Pedro Henrique Paiola and João Paulo Papa},
       year={2024},
 }
-```
+```