metadata

datasets:
  - snow_simplified_japanese_corpus
  - mkqa
  - llm-book/aio_v2
  - paws
  - lmqg/qg_jaquad
  - SkelterLabsInc/JaQuAD
  - karakuri-ai/dolly-15k-ja
  - MBZUAI/Bactrian-X
  - GEM/wiki_lingua
  - csebuetnlp/xlsum
language:
  - ja

Aerner LM-v2

事前学習から全部日本語で学習させたモデルのバージョン2です。 LLaMAベースで、24GBのVRAMで事前学習できる規模に小さなモデルです。

Flash Attentionが使用されているOpenLLaMAを使用しています。 Wikipediaのデータが中心なので、回答はWikipediaっぽい感じになります。

V1に比べると、モノや場所などの概念を持っているようないないような。データセットはV1と同じですが、学習ステップ数が76,000と延長。

サンプルコード。モデルのロードは少し時間が掛かりますが、Inferenceは結構速いです。 GenerationConfigが必須。モデルが小さいので、beam searchや repeat関係は結構重要。

from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
import torch
import time
import random
import numpy as np

#
# Fix seed
#
seed = 42

random.seed(seed)
# Numpy
np.random.seed(seed)
# Pytorch
torch.manual_seed(seed)
torch.cuda.manual_seed(seed)
torch.backends.cudnn.deterministic = True
torch.use_deterministic_algorithms = True

torch.set_default_dtype(torch.bfloat16)



model_id = "aerner/lm-v1"


text = """### Instruction:
東京駅について説明してください。


### Context:



### Answer:
"""

with torch.no_grad():
    tokenizer = AutoTokenizer.from_pretrained(model_id)
    tokenized_input = tokenizer(text, return_tensors="pt").to('cuda')

    model = AutoModelForCausalLM.from_pretrained(
        model_id, device_map="auto", torch_dtype=torch.bfloat16)

    generation_config = GenerationConfig(
        max_new_tokens=256,
        min_new_tokens=1,
        early_stopping=True,
        do_sample=True,

        num_beams=8,
        temperature=1.0,
        top_p=0.6,
        penalty_alpha=0.4,
        no_repeat_ngram_size=4,
        repetition_penalty=1.4,

        remove_invalid_values=True,
        num_return_sequences=1,
    )

    start = time.time()

    generation_output = model.generate(
        input_ids=tokenized_input['input_ids'],
        generation_config=generation_config,
        return_dict_in_generate=True,
        output_scores=True,
    )

    for s in generation_output.sequences:
        output = tokenizer.decode(s)
        print(output)

    print(time.time() - start)