Update README.md
Browse files
README.md
CHANGED
@@ -25,9 +25,10 @@ datasets:
|
|
25 |
|
26 |
![BoreasThe Mighty God of the North Wind](https://oldworldgods.com/wp-content/uploads/2023/10/boreas1.jpg)
|
27 |
|
28 |
-
Boreas-7B is een Nederlands/Engels taalmodel gebaseerd op Mistral-7B.
|
29 |
Het is getraind op 10 miljard tokens aan Nederlandse en Engelse tekst.
|
30 |
-
|
|
|
31 |
|
32 |
* Boreas-7B is vergelijkbaar met [GEITje-7B](https://huggingface.co/Rijgersberg/GEITje-7B) in die zin dat
|
33 |
het ook een model is dat verder getraind is op Mistral-7B, met een evenzogrote hoeveelheid tokens (10B).
|
@@ -39,8 +40,12 @@ en deze is ook van toepassing op Boreas.
|
|
39 |
|
40 |
De voornaamste verschillen tussen Boreas en GEITje zijn:
|
41 |
|
42 |
-
* Boreas
|
43 |
-
* Boreas
|
|
|
|
|
|
|
|
|
44 |
|
45 |
## Gebruik met ollama
|
46 |
|
|
|
25 |
|
26 |
![BoreasThe Mighty God of the North Wind](https://oldworldgods.com/wp-content/uploads/2023/10/boreas1.jpg)
|
27 |
|
28 |
+
[Boreas-7B](https://huggingface.co/yhavinga/Boreas-7B) is een Nederlands/Engels taalmodel gebaseerd op Mistral-7B.
|
29 |
Het is getraind op 10 miljard tokens aan Nederlandse en Engelse tekst.
|
30 |
+
|
31 |
+
**Boreas-7B-chat** (dit model) is verder getraind op instructie- en chat data.
|
32 |
|
33 |
* Boreas-7B is vergelijkbaar met [GEITje-7B](https://huggingface.co/Rijgersberg/GEITje-7B) in die zin dat
|
34 |
het ook een model is dat verder getraind is op Mistral-7B, met een evenzogrote hoeveelheid tokens (10B).
|
|
|
40 |
|
41 |
De voornaamste verschillen tussen Boreas en GEITje zijn:
|
42 |
|
43 |
+
* Boreas-7B en Boreas-7B-chat zijn getraind met een context lengte van 2048 tokens, GEITje met 8192 tokens.
|
44 |
+
* Boreas-7B en Boreas-7B-chat zijn getraind op een mix van Engels en Nederlands, waar GEITje alleen op voornamelijk Nederlands getraind is.
|
45 |
+
* Boreas-7B-chat is getraind op een mix van zowel chat conversaties als ook 'normaal' pre-trainen.
|
46 |
+
|
47 |
+
Omdat zowel GEITje als Boreas afgeleiden zijn van hetzelfde basismodel, is het mogelijk om een [merge](https://github.com/arcee-ai/mergekit) te maken.
|
48 |
+
|
49 |
|
50 |
## Gebruik met ollama
|
51 |
|