license: cc
language:
- zh
library_name: transformers
pipeline_tag: text-generation
widget:
- text: 问：什么是鹦鹉？
- text: 问：什么是大象？
- text: 问：谁是李白？
- text: 问：什么是黑洞？
- text: 从前有个胖鹦鹉，胖得飞不动。
- text: 从前有个小姑娘从来不洗脸。孔子说：
datasets:
- adam89/TinyStoriesChinese
- fzmnm/TinyStoriesAdv-zh
TinyStoriesAdv_92M
超迷你的玩具模型，只能讲中文，可以回答一些小学生的常识问题。幻觉严重。但是很有趣。 受到TinyStories、Phi2等论文的启发，使用了自己制作的全合成的数据库 https://huggingface.co/datasets/fzmnm/TinyStoriesAdv-zh
采用了类似Qwen的架构。
dim=640;n_layers=20;n_heads=10;n_kv_heads=2;max_seq_len=1024;embedding_weight_tying=True;
tokens_per_iteration=524288
dropout=0.1
warmup_iters=1000;stable_iters=9000
A100上7.5小时即可训练完毕。 这个是预训练版本，没有进行偏好微调。
试玩：
temperature=0
cherry_picking=True
问：什么是鹦鹉？ 答：鹦鹉是一种非常聪明的鸟类,它们的语言和声音非常特别。它们会用各种声音交流,比如模仿鸟叫声、使用手势和用力拍打。
问：什么是大象？ 答：大象是一种非常大的动物,生活在北美洲的森林和草原。
问：谁是李白？ 答：李白是唐代的一位诗人,他的诗歌以豪放、浪漫和浪漫著称。
问：什么是黑洞？ 答：黑洞是一种看不见的物体,它们像是宇宙中的“大吸尘器”,不过它们的… 引力强大,所以它们看不见。
从前有个胖鹦鹉，胖得飞不动。有一天,他看到一只大鸟,想和它打招呼。鸟儿说:“你好,胖胖!我可以和你打招呼吗?”胖胖的鹦鹉回答:“好的,我很乐意!”于是,它们成了朋友,一起玩耍。他们跑啊跳啊,玩得很开心。但是,一只大鸟看到了胖胖的鹦鹉,想要抓住它。鸟儿说:“不,胖胖!你不能和我们玩。”胖胖的鹦鹉很伤心,但它知道鸟儿必须听从。所以,胖胖的鹦鹉和鸟儿成为了朋友。他们一起玩,成为了最好的朋友。
从前有个小姑娘从来不洗脸。孔子说：“你要去学校,不能在草坪上玩。”小姑娘答应了,孔子带她去了草坪。小姑娘坐在石头上,孔子看着她。孔子问:“你为什么难过?”小姑娘叹了口气:“我生病了,我父亲不能让我照顾你。”孔子听了,心里很难过。第二天,小姑娘来到了草坪上,孔子请她摘花。她摘了花,小姑娘笑着说:“我会帮你。”小姑娘走进教堂,孔子问:“你怎么唱这个歌?”小姑娘低声说:“因为我妈妈病了。”孔子听了,心里很难过,他想知道她的心意。于是,他对小姑娘说:“你妈妈病了,我来看看。”小姑娘点点头,跟孔子来到一个大花园。她看到孔子,有很多花,美丽极了。她伸出手想要,孔子却说:“你不可以摘花,但你必须答应我。”小姑娘惊讶地说:“我答应你!”孔子笑着说:“你不需要别的,我知道怎么做。”小姑娘高兴地答应了。孔子又对小姑娘说:“你可以摘我的花,但只摘我自己。”小姑娘答应了。她摘下最美丽的玫瑰花,放在自己的口袋里带回家。孔子看着她走,心里感到很温暖。第二天,小姑娘又来了,孔子又说:“你要好好侍奉母亲,我要把你送到天上。”小姑娘害怕怕,但孔子坚定地说:“我不会的,我会照顾你的。”小姑娘害怕孔子,但还是答应了。她拿出美丽的玫瑰花,递给孔子。孔子接过花,感激地说:“你是我的骄傲。”第三天,小姑娘来拜见孔子。她穿着一身漂亮的衣服,头发有些乱,孔子却不喜欢她。“你怎么这么漂亮,难道不怕你吗?”孔子问。小姑娘心里很难过,泪水夺眶而出。孔子听见她的哭声,心里很不舒服,但他还是不敢过。“为什么要伤心?”孔子问。“我想要更美的心,像天一样纯洁的人。”小姑娘说。