|
--- |
|
library_name: transformers |
|
tags: |
|
- Phi-2B |
|
- Portuguese |
|
- Bode |
|
- LLM |
|
- Alpaca |
|
license: mit |
|
language: |
|
- pt |
|
- en |
|
metrics: |
|
- accuracy |
|
- f1 |
|
- precision |
|
- recall |
|
pipeline_tag: text-generation |
|
--- |
|
|
|
# Phi-Bode |
|
|
|
|
|
<!--- PROJECT LOGO --> |
|
<p align="center"> |
|
<img src="https://huggingface.co/recogna-nlp/Phi-Bode/resolve/main/phi-bode.jpg" alt="Phi-Bode Logo" width="400" style="margin-left:'auto' margin-right:'auto' display:'block'"/> |
|
</p> |
|
|
|
Phi-Bode é um modelo de linguagem ajustado para o idioma português, desenvolvido a partir do modelo base Phi-2B fornecido pela [Microsoft](https://huggingface.co/microsoft/phi-2). Este modelo foi refinado através do processo de fine-tuning utilizando o dataset Alpaca traduzido para o português. O principal objetivo deste modelo é ser viável para pessoas |
|
que não possuem recursos computacionais disponíveis para o uso de LLMs (Large Language Models). |
|
|
|
## Características Principais |
|
|
|
- **Modelo Base:** Phi-2B, criado pela Microsoft, com 2.7 bilhões de parâmetros. |
|
- **Dataset para Fine-tuning:** Uso do dataset Alpaca traduzido para português para adaptar o modelo às nuances da língua portuguesa. |
|
- **Quantização:** O modelo base Phi-2B foi quantizado em 4 bits para reduzir o tamanho e a complexidade computacional. |
|
- **Treinamento:** O treinamento foi realizado utilizando o método LoRa, visando eficiência computacional e otimização de recursos. |
|
- **Merge de Modelos:** Após o treinamento, o modelo treinado quantizado em 4 bits foi mesclado com o modelo base para preservar a qualidade do modelo. |
|
|
|
## Outros modelos disponíveis |
|
|
|
| Quantidade de parâmetros | PEFT | Modelo | |
|
| :-: | :-: | :-: | |
|
| 7b | ✓ | [recogna-nlp/bode-7b-alpaca-pt-br](https://huggingface.co/recogna-nlp/bode-7b-alpaca-pt-br) | |
|
| 13b | ✓ | [recogna-nlp/bode-13b-alpaca-pt-br](https://huggingface.co/recogna-nlp/bode-13b-alpaca-pt-br)| |
|
| 7b | | [recogna-nlp/bode-7b-alpaca-pt-br-no-peft](https://huggingface.co/recogna-nlp/bode-7b-alpaca-pt-br-no-peft) | |
|
| 13b | | [recogna-nlp/bode-13b-alpaca-pt-br-no-peft](https://huggingface.co/recogna-nlp/bode-13b-alpaca-pt-br-no-peft) | |
|
| 7b-gguf | | [recogna-nlp/bode-7b-alpaca-pt-br-gguf](https://huggingface.co/recogna-nlp/bode-7b-alpaca-pt-br-gguf) | |
|
| 13b-gguf | | [recogna-nlp/bode-13b-alpaca-pt-br-gguf](https://huggingface.co/recogna-nlp/bode-13b-alpaca-pt-br-gguf) | |
|
|
|
|
|
|
|
## Utilização |
|
|
|
O modelo Phi-Bode pode ser utilizado para uma variedade de tarefas de processamento de linguagem natural (PLN) em português, como geração de texto, classificação, sumarização de texto, entre outros. |
|
|
|
### Exemplo de uso |
|
|
|
Abaixo, colocamos um exemplo simples de como carregar o modelo e gerar texto: |
|
|
|
|
|
## Contribuições |
|
Contribuições para a melhoria deste modelo são bem-vindas. Sinta-se à vontade para abrir problemas e solicitações pull. |
|
|
|
## Citação |
|
Se você deseja utilizar o Phi-Bode em sua pesquisa, cite-o da seguinte maneira: |
|
|
|
``` |
|
@misc{phibode2024, |
|
author={Gabriel Lino Garcia and Pedro Henrique Paiola and João Paulo Papa}, |
|
year={2024}, |
|
} |
|
``` |
|
|
