metadata

extra_gated_prompt: >-
  This model is just a test on French semantic with Mixtral. Unfortunately, I
  will not provide access to anyone. To be deleted soon!
extra_gated_fields:
  Name: text
  Company: text
  Email: text
  I agree to use this model for academic research (non-commercial use ONLY): checkbox
license: apache-2.0
library_name: peft
tags:
  - trl
  - sft
  - generated_from_trainer
base_model: mistralai/Mixtral-8x7B-v0.1
model-index:
  - name: outputs
    results: []

Mixtrale-Houellebeck - Le pointeur

"Moins talentueux que Céline et moins brillant que Baudrillard, Mixtrale Houellebeck sort de son silence pour nous faire découvrir sa première déception amoureuse, le Pascal. Dans ce roman autorégressif, l'écrivain français dévoile aux lecteurs son étrange obsession pour ce langage de haut niveau à la syntaxe rigoureuse ainsi que sa grande frustration, les pointeurs. Une complexité qui va le pousser vers la solitude, une vision conservative et à un exil fiscal en Irlande."

Les éditions Flammenkuchen'

outputs

This model is a fine-tuned version of mistralai/Mixtral-8x7B-v0.1 on an unknown dataset.

Model description

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0002
train_batch_size: 2
eval_batch_size: 8
seed: 3407
gradient_accumulation_steps: 4
total_train_batch_size: 8
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 5
training_steps: 60

Training results

Framework versions

PEFT 0.11.1
Transformers 4.41.2
Pytorch 2.3.0+cu121
Datasets 2.20.0
Tokenizers 0.19.1