yhavinga commited on
Commit
bc53ef1
1 Parent(s): 5fe1528

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +9 -4
README.md CHANGED
@@ -25,9 +25,10 @@ datasets:
25
 
26
  ![BoreasThe Mighty God of the North Wind](https://oldworldgods.com/wp-content/uploads/2023/10/boreas1.jpg)
27
 
28
- Boreas-7B is een Nederlands/Engels taalmodel gebaseerd op Mistral-7B.
29
  Het is getraind op 10 miljard tokens aan Nederlandse en Engelse tekst.
30
- Boreas-7B-chat is verder getraind op instructie- en chat data.
 
31
 
32
  * Boreas-7B is vergelijkbaar met [GEITje-7B](https://huggingface.co/Rijgersberg/GEITje-7B) in die zin dat
33
  het ook een model is dat verder getraind is op Mistral-7B, met een evenzogrote hoeveelheid tokens (10B).
@@ -39,8 +40,12 @@ en deze is ook van toepassing op Boreas.
39
 
40
  De voornaamste verschillen tussen Boreas en GEITje zijn:
41
 
42
- * Boreas is getraind met een context lengte van 2048 tokens, GEITje met 8192 tokens.
43
- * Boreas is getraind op een mix van Engels en Nederlands, waar GEITje alleen op voornamelijk Nederlands getraind is.
 
 
 
 
44
 
45
  ## Gebruik met ollama
46
 
 
25
 
26
  ![BoreasThe Mighty God of the North Wind](https://oldworldgods.com/wp-content/uploads/2023/10/boreas1.jpg)
27
 
28
+ [Boreas-7B](https://huggingface.co/yhavinga/Boreas-7B) is een Nederlands/Engels taalmodel gebaseerd op Mistral-7B.
29
  Het is getraind op 10 miljard tokens aan Nederlandse en Engelse tekst.
30
+
31
+ **Boreas-7B-chat** (dit model) is verder getraind op instructie- en chat data.
32
 
33
  * Boreas-7B is vergelijkbaar met [GEITje-7B](https://huggingface.co/Rijgersberg/GEITje-7B) in die zin dat
34
  het ook een model is dat verder getraind is op Mistral-7B, met een evenzogrote hoeveelheid tokens (10B).
 
40
 
41
  De voornaamste verschillen tussen Boreas en GEITje zijn:
42
 
43
+ * Boreas-7B en Boreas-7B-chat zijn getraind met een context lengte van 2048 tokens, GEITje met 8192 tokens.
44
+ * Boreas-7B en Boreas-7B-chat zijn getraind op een mix van Engels en Nederlands, waar GEITje alleen op voornamelijk Nederlands getraind is.
45
+ * Boreas-7B-chat is getraind op een mix van zowel chat conversaties als ook 'normaal' pre-trainen.
46
+
47
+ Omdat zowel GEITje als Boreas afgeleiden zijn van hetzelfde basismodel, is het mogelijk om een [merge](https://github.com/arcee-ai/mergekit) te maken.
48
+
49
 
50
  ## Gebruik met ollama
51