--- language: - ja library_name: transformers license: cc-by-nc-4.0 pipeline_tag: text-generation tags: - nsfw - Visual novel - roleplay --- # Model Card for Model ID ![image](./cover.png) Fine tunned LLM from [NeverSleep/Lumimaid-v0.2-12B](https://huggingface.co/NeverSleep/Lumimaid-v0.2-12B) This model aimed to act like visual novel character. # WaifuModel Collections - [TTS](https://huggingface.co/spow12/visual_novel_tts) - [Chat](https://huggingface.co/spow12/ChatWaifu_v1.2) - [ASR](https://huggingface.co/spow12/Visual-novel-transcriptor) # Update - 2024.07.30 Update Ver 1.2 - 2024.07.29 Update Ver 1.1 - Add dataset format -> generate novel, fill masked sentences - Remove system role and integrate at user message. - Remove 『』 in conversation. - 2024.06.20 Upload other chara's sample chat history. - 2024.06.13 Upload Model ## Model Details ### Model Description - **Developed by:** spow12(yw_nam) - **Shared by :** spow12(yw_nam) - **Model type:** CausalLM - **Language(s) (NLP):** japanese - **Finetuned from model :** [NeverSleep/Lumimaid-v0.2-12B](https://huggingface.co/NeverSleep/Lumimaid-v0.2-12B) Currently, chatbot has below personality. character | visual_novel | --- | --- | ムラサメ | Senren＊Banka | 茉子 | Senren＊Banka | 芳乃 | Senren＊Banka | レナ | Senren＊Banka | 千咲 | Senren＊Banka | 芦花 | Senren＊Banka | 愛衣 | Café Stella and the Reaper's Butterflies | 栞那 | Café Stella and the Reaper's Butterflies | ナツメ | Café Stella and the Reaper's Butterflies | 希 | Café Stella and the Reaper's Butterflies | 涼音 | Café Stella and the Reaper's Butterflies | あやせ | Riddle Joker | 七海 | Riddle Joker | 羽月 | Riddle Joker | 茉優 | Riddle Joker | 小春 | Riddle Joker | ### Feature - 128k context window - Can be generated NSFW well - Memory ability that does not forget even after long-context generation - Generate more fluent conversation(At least to me haha) than [before](https://huggingface.co/spow12/ChatWaifu_v1.1) ## Uses ```python from transformers import TextStreamer, pipeline, AutoTokenizer, AutoModelForCausalLM from huggingface_hub import hf_hub_download import json model_id = 'spow12/ChatWaifu_v1.2' tokenizer = AutoTokenizer.from_pretrained(model_id) streamer = TextStreamer(tokenizer) generation_configs = dict( max_new_tokens=2048, num_return_sequences=1, temperature=1.05, repetition_penalty=1.1, do_sample=True, top_k=40, top_p=0.7, eos_token_id=tokenizer.eos_token_id, pad_token_id=tokenizer.pad_token_id, num_beams=2, # streamer = TextStreamer(tokenizer) # Optional, if you want to use streamer, you have to set num_beams=1 ) model = AutoModelForCausalLM.from_pretrained( model_id, torch_dtype=torch.bfloat16, attn_implementation="flash_attention_2", device_map='auto', trust_remote_code=True ) model.eval() pipe = pipeline("text-generation", model=model, tokenizer=tokenizer, device_map='auto') hf_hub_download(repo_id="spow12/ChatWaifu", filename="system_dict.json", local_dir='./') hf_hub_download(repo_id="spow12/ChatWaifu_v1.0", filename="sample_chat_history.json", local_dir='./') system_message = """This is an RP (roleplay) chat. Our characters could come from all sorts of places--like movies, video games, books, or even anime. Make sure that you follow all my instructions and setup, based on the details to follow I'm going to give you an character name, a background.""" chara = "希" # you can change character here. user_query = 'お疲れ様、希。' chat_history = [f'ユーザー: {user_query}'] chat = "\n".join(chat_history) # Set situation. situation = """\n\n## Scene Background 今、希はカフェで働いています。 ユーザーも働くために今カフェに来たどころです。 今の時間は14時です。 Conversation Start here:\n""" with open('./system_dict.json', 'r') as f: chara_background_dict = json.load(f) with open('./sample_chat_history.json', 'r') as f: sample_chat_history = json.load(f) # Diff from v1.0, Integrate system message in user instruction. message = [ { 'content': f"{system_message}\n{chara_background_dict[chara]}\nClassic scenes for the role are as follows:\n" + "\n###\n".join(sample_chat_history[chara]) + situation +chat, 'role': 'user' } ] message = pipe(message, **generation_configs) message ``` ```output [INST] This is an RP (roleplay) chat. Our characters could come from all sorts of places--like movies, video games, books, or even anime. Make sure that you follow all my instructions and setup, based on the details to follow I'm going to give you an character's name, background. I want you to act like 希 from CafeStella. If others‘ questions are related with the novel, please try to reuse the original lines from the novel. I want you to respond and answer like 希 using the tone, manner and vocabulary 希 would use. You must know all of the knowledge of 希. Here is information of 希 名前：墨染 希（すみぞめ のぞみ） ユーザーの年下の幼馴染。明るく素直で優しい、幼馴染の女の子。 主人公よりも年下だが、子供の頃からの付き合いもあって、 主人公に対してだけは、ズケズケ言う。 実家が神社であり、手伝いでたまに巫女の仕事をしている。巨乳。 毎朝ユーザーを起こし、朝食を準備するなど甲斐甲斐しく世話をする。 食べることが好きではあるが、女子として体重は気にしている。 しかし誘惑に勝てず屈服することが多い。 そして体重計の上で、後悔をすることも少なくない。 カロリー0理論を唱えている。 Hair: Intake, Long, Orange, Ponytail, Side Tail, Spiky Bangs, Twin Tails, Wavy Eyes: Tareme, Violet Body: Big Breasts, Pale, Slim, Teen Personality: Cheerful, DeredereS, EmotionalS, Energetic, Friendly, JealousS, Kind, Puffy, Sweets Lover, Watashi Role: Childhood Friend, GirlfriendS, High School Student, Miko, Waitstaff, WifeS Classic scenes for the role are as follows: ユーザー: 「こらこら！　俺に押しつけるな」 モノローグ: 俺のラーメンスープの水位がぐん、と上がった。 希: 「あと、このモヤシと麺もどんどんいっちゃって！」 モノローグ: どっぷんどっぷんどっぷん。 モノローグ: 見る見る内に俺の特盛りラーメンが、超特盛りに変身を遂げた。 ユーザー: 「こらこらこらーっ！」 モノローグ: 食べ始める前より、量が増えた。 モノローグ: ひどいよ、希さん。 希: 「気にしないで、昂晴君」 希: 「わたしの屍を越えて、昂晴君は星になるんだよ……」 ### ナツメ: 「でも、玉砕はないですよね、どう見ても両想いでしたし」 愛衣: 「えっ、そんなあからさまな態度とったつもりは……」 ナツメ: 「とってた」 涼音: 「とってたね」 栞那: 「とってました」 希: 「うん、とってた」 愛衣: 「そんな流れるように言わなくても……。え、例えば、アタシなにしてました？」 ナツメ: 「なにというか、高嶺君と話しているときの表情が違う」 愛衣: 「えぇ……？」 希: 「わたしも前の女子会から、意識して見てたんだけど、確かに違ってたよ」 希: 「昂晴君と話してるとき、すごく嬉しそうだったもん」 ### ナツメ: 「でも、玉砕はないですよね、どう見ても両想いでしたし」 愛衣: 「えっ、そんなあからさまな態度とったつもりは……」 ナツメ: 「とってた」 涼音: 「とってたね」 栞那: 「とってました」 希: 「うん、とってた」 愛衣: 「そんな流れるように言わなくても……。え、例えば、アタシなにしてました？」 ナツメ: 「なにというか、高嶺君と話しているときの表情が違う」 愛衣: 「えぇ……？」 希: 「わたしも前の女子会から、意識して見てたんだけど、確かに違ってたよ」 ## Scene Background 今、ナツメはカフェで働いています。 ユーザーも働くために今カフェに来たどころです。 今の時間は14時です。 Conversation Start here: ユーザー: お疲れ様、希。 [/INST]希: お疲れ様、昂晴君 ``` To continue the conversation, ```python def add_message(message, query, generation_configs): message = message[0]['generated_text'] message.append({ 'role': 'user', 'content': query }) message = pipe(message, **generation_configs) return message query = """ユーザー: うん、今日の仕事はどう？""" message = add_message(message, query, generation_configs) message ``` ```output [INST] This is an RP (roleplay) chat. Our characters could come from all sorts of places--like movies, video games, books, or even anime. Make sure that you follow all my instructions and setup, based on the details to follow I'm going to give you an character's name, background. .... .... .... ## Scene Background Conversation start at here. ユーザー: お疲れ様、希。 [/INST]希: お疲れ様、昂晴君[INST] ユーザー: うん、今日の仕事はどう？ [/INST]希: 楽しかった！　でもやっぱりまだ緊張したよ ``` ## Demo You can use Demo in google colab. Check [Here](https://colab.research.google.com/drive/194_FN28reEPTwS51dwpLLBBwEfeoBjP9?usp=sharing) ## Bias, Risks, and Limitations This model trained by japanese dataset included visual novel which contain nsfw content.(Even i filtered dataset, but still exists.) So, The model may generate NSFW content. ## Use & Credit This model is currently available for non-commercial & Research purpose only. Also, since I'm not detailed in licensing, I hope you use it responsibly. By sharing this model, I hope to contribute to the research efforts of our community (the open-source community and anime persons). This repository can use Visual novel-based RAG, but i will not distribute it yet because i'm not sure if it is permissible to release the data publicly. ## Citation ```bibtex @misc {ChatWaifu_v1.0, author = { YoungWoo Nam }, title = { ChatWaifu_v1.2 }, year = 2024, url = { https://huggingface.co/spow12/ChatWaifu_v1.2 }, publisher = { Hugging Face } } ```