File size: 7,759 Bytes
eebc1dd 855b008 eebc1dd e96bc8f 855b008 eebc1dd d51f674 eebc1dd d51f674 eebc1dd e96bc8f |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 |
---
license: apache-2.0
base_model: google-t5/t5-small
tags:
- generated_from_trainer
- summarization
- text2text
metrics:
- rouge
model-index:
- name: flan-t5-small-summarization
results: []
inference:
parameters:
max_new_tokens: 128
pipeline_tag: summarization
datasets:
- recogna-nlp/recognasumm
language:
- pt
library_name: transformers
widget:
- text: "Resumo 1"
example_title: "sumarize: Na segunda disputa estadual para escolher o candidato do partido republicano para as eleições de novembro nos Estados Unidos, o ex-presidente Donald Trump teve mais uma vitória. Ele venceu as primárias em New Hampshire, que ocorreram na terça-feira (23/01). Antes disso, o favoritismo de Trump, apontado por diversas pesquisas, foi visto em sua vitória na primeira prévia do calendário eleitoral americano, em Iowa. Naquele Estado, Trump registrou 51% dos votos e vantagem de 30 pontos sobre o segundo colocado, o governador da Flórida, Ron DeSantis. No domingo (21/1), DeSantis anunciou sua desistência da corrida presidencial de 2024 e manifestou apoio a Trump. O movimento deixou Nikki Haley, ex-embaixadora dos Estados Unidos nas Nações Unidas, como a única rival significativa de Trump no partido."
- text: "Resumo 2"
example_title: "Em que circunstâncias a depressão pós-operatória ocorre depois de uma cirurgia plástica? A razão mais simples é a depressão causada pela anestesia, que pode provocar uma sensação de desânimo, mas o efeito, quando acontece, se estende por um ou dois meses, no máximo. Outra questão é uma expectativa irreal de resultados, que deveria ser alinhada durante o pré-operatório – por isso é tão importante que o médico deixe claro os limites da transformação estética. O problema é que, às vezes, o paciente não está disposto a ouvir, achando que a cirurgia vai transformá-lo num outro indivíduo. Essa condição é mais comum entre adolescentes, que ainda não amadureceram, ou quando a pessoa enfrenta uma situação que a fragilizou, como uma separação traumática. É o caso da mulher que deseja ter 20 anos novamente. Ela vai melhorar muito sua imagem, mas não voltará a ser uma jovem."
---
<!-- This model card has been generated automatically according to the information the Trainer had access to. You
should probably proofread and complete it, then remove this comment. -->
# flan-t5-small-summarization
This model is a fine-tuned version of [google-t5/t5-small](https://huggingface.co/google-t5/t5-small) on an unknown dataset.
It achieves the following results on the evaluation set:
- Loss: 1.8997
- Rouge1: 15.0817
- Rouge2: 5.3292
- Rougel: 12.958
- Rougelsum: 13.8768
- Gen Len: 18.968
## Model description
More information needed
## Intended uses & limitations
More information needed
## Training and evaluation data
More information needed
## Training procedure
### Training hyperparameters
The following hyperparameters were used during training:
- learning_rate: 2e-05
- train_batch_size: 6
- eval_batch_size: 6
- seed: 42
- gradient_accumulation_steps: 4
- total_train_batch_size: 24
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 5
- mixed_precision_training: Native AMP
### Training results
| Training Loss | Epoch | Step | Validation Loss | Rouge1 | Rouge2 | Rougel | Rougelsum | Gen Len |
|:-------------:|:-----:|:----:|:---------------:|:-------:|:------:|:-------:|:---------:|:-------:|
| No log | 0.12 | 100 | 1.9634 | 14.8269 | 5.3829 | 12.7816 | 13.7008 | 18.968 |
| No log | 0.24 | 200 | 1.9644 | 14.9042 | 5.4617 | 12.7989 | 13.7004 | 18.968 |
| No log | 0.36 | 300 | 1.9590 | 14.7014 | 5.1896 | 12.6361 | 13.5061 | 18.968 |
| No log | 0.48 | 400 | 1.9592 | 14.8482 | 5.2667 | 12.6819 | 13.6022 | 18.968 |
| 2.092 | 0.6 | 500 | 1.9551 | 14.6613 | 5.2159 | 12.5685 | 13.4544 | 18.968 |
| 2.092 | 0.72 | 600 | 1.9508 | 14.6862 | 5.2585 | 12.6345 | 13.5299 | 18.968 |
| 2.092 | 0.84 | 700 | 1.9473 | 14.7323 | 5.1636 | 12.6962 | 13.5118 | 18.968 |
| 2.092 | 0.96 | 800 | 1.9488 | 14.7104 | 5.1587 | 12.7019 | 13.5439 | 18.968 |
| 2.092 | 1.08 | 900 | 1.9397 | 14.8448 | 5.2826 | 12.7924 | 13.6464 | 18.968 |
| 2.077 | 1.2 | 1000 | 1.9373 | 14.9495 | 5.3975 | 12.8935 | 13.7491 | 18.968 |
| 2.077 | 1.32 | 1100 | 1.9372 | 14.93 | 5.4048 | 12.8809 | 13.7012 | 18.968 |
| 2.077 | 1.44 | 1200 | 1.9311 | 14.8196 | 5.2564 | 12.8279 | 13.6688 | 18.968 |
| 2.077 | 1.56 | 1300 | 1.9311 | 14.8757 | 5.2282 | 12.8286 | 13.7152 | 18.968 |
| 2.077 | 1.68 | 1400 | 1.9287 | 14.9308 | 5.3154 | 12.8522 | 13.7326 | 18.968 |
| 2.06 | 1.8 | 1500 | 1.9268 | 14.8923 | 5.2594 | 12.8387 | 13.6839 | 18.968 |
| 2.06 | 1.92 | 1600 | 1.9256 | 15.085 | 5.2911 | 12.9424 | 13.8375 | 18.968 |
| 2.06 | 2.04 | 1700 | 1.9245 | 14.9127 | 5.3024 | 12.8339 | 13.6987 | 18.968 |
| 2.06 | 2.16 | 1800 | 1.9197 | 15.0974 | 5.2812 | 12.9218 | 13.8758 | 18.968 |
| 2.06 | 2.28 | 1900 | 1.9172 | 15.0564 | 5.2437 | 12.8736 | 13.8318 | 18.968 |
| 2.0474 | 2.4 | 2000 | 1.9149 | 14.9414 | 5.1408 | 12.8381 | 13.7028 | 18.968 |
| 2.0474 | 2.52 | 2100 | 1.9149 | 15.0211 | 5.2195 | 12.954 | 13.809 | 18.968 |
| 2.0474 | 2.64 | 2200 | 1.9113 | 15.0689 | 5.2702 | 12.9338 | 13.8276 | 18.968 |
| 2.0474 | 2.76 | 2300 | 1.9129 | 15.134 | 5.2675 | 13.0113 | 13.9106 | 18.968 |
| 2.0474 | 2.88 | 2400 | 1.9103 | 15.1097 | 5.276 | 12.9856 | 13.8559 | 18.968 |
| 2.04 | 3.0 | 2500 | 1.9062 | 15.1413 | 5.2281 | 12.9537 | 13.8494 | 18.968 |
| 2.04 | 3.12 | 2600 | 1.9070 | 14.9792 | 5.2091 | 12.8586 | 13.695 | 18.968 |
| 2.04 | 3.24 | 2700 | 1.9066 | 14.9506 | 5.2238 | 12.8265 | 13.6925 | 18.968 |
| 2.04 | 3.36 | 2800 | 1.9063 | 15.053 | 5.2235 | 12.8833 | 13.7711 | 18.968 |
| 2.04 | 3.48 | 2900 | 1.9064 | 14.9386 | 5.1363 | 12.7915 | 13.688 | 18.968 |
| 2.0273 | 3.6 | 3000 | 1.9053 | 15.0901 | 5.2518 | 12.9063 | 13.8338 | 18.968 |
| 2.0273 | 3.72 | 3100 | 1.9059 | 15.0692 | 5.2665 | 12.932 | 13.8394 | 18.968 |
| 2.0273 | 3.84 | 3200 | 1.9021 | 15.0768 | 5.3179 | 12.9916 | 13.8653 | 18.968 |
| 2.0273 | 3.96 | 3300 | 1.9024 | 15.1808 | 5.3312 | 13.0143 | 13.9269 | 18.968 |
| 2.0273 | 4.08 | 3400 | 1.8981 | 15.0905 | 5.2769 | 12.9551 | 13.8666 | 18.968 |
| 2.0291 | 4.2 | 3500 | 1.9007 | 15.0453 | 5.3159 | 12.9429 | 13.824 | 18.968 |
| 2.0291 | 4.32 | 3600 | 1.9017 | 15.0403 | 5.3474 | 12.9625 | 13.8437 | 18.968 |
| 2.0291 | 4.44 | 3700 | 1.9005 | 15.0456 | 5.3468 | 12.9521 | 13.8413 | 18.968 |
| 2.0291 | 4.56 | 3800 | 1.8991 | 15.0501 | 5.3539 | 12.9597 | 13.8408 | 18.968 |
| 2.0291 | 4.68 | 3900 | 1.8998 | 15.1219 | 5.3599 | 12.9936 | 13.9013 | 18.968 |
| 2.0193 | 4.8 | 4000 | 1.9004 | 15.0831 | 5.329 | 12.9697 | 13.8762 | 18.968 |
| 2.0193 | 4.92 | 4100 | 1.8997 | 15.0817 | 5.3292 | 12.958 | 13.8768 | 18.968 |
### Framework versions
- Transformers 4.38.2
- Pytorch 2.2.1+cu121
- Datasets 2.18.0
- Tokenizers 0.15.2 |