Update README.md

README.md

@@ -21,31 +21,30 @@ datasets:
 
 # Boreas
 
-**NB: 20240430 model card is WIP - evaluations / example generations to be added**
-
 ![BoreasThe Mighty God of the North Wind](https://oldworldgods.com/wp-content/uploads/2023/10/boreas1.jpg)
 
 [Boreas-7B](https://huggingface.co/yhavinga/Boreas-7B) is een Nederlands/Engels taalmodel gebaseerd op Mistral-7B.
-Het is getraind op 10 miljard tokens aan Nederlandse en Engelse tekst.
+Het model is getraind op 10 miljard tokens aan Nederlandse en Engelse tekst.
 
-**Boreas-7B-chat** (dit model) is verder getraind op instructie- en chat data.
+**Boreas-7B-chat** (dit model) is een verdere finetune op instructie- en chat data.
 
-* Boreas-7B is vergelijkbaar met [GEITje-7B](https://huggingface.co/Rijgersberg/GEITje-7B) in die zin dat
-  het ook een model is dat verder getraind is op Mistral-7B, met een evenzogrote hoeveelheid tokens (10B).
-* Boreas-7B-chat is vergelijkbaar met [GEITje-7B-chat](https://huggingface.co/Rijgersberg/GEITje-7B-chat) en [GEITJE-7B-ultra-sft](https://huggingface.co/BramVanroy/GEITje-7B-ultra-sft), in die zin dat het ook een 
-  fine-tune is op een chat dataset.
+* Boreas-7B vertoont overeenkomsten met [GEITje-7B](https://huggingface.co/Rijgersberg/GEITje-7B), aangezien beide
+  modellen zijn voortgebouwd op het Mistral-7B basismodel en zijn getrained op een vergelijkbare omvang van
+  10 miljard tokens.
+* Boreas-7B-chat is vergelijkbaar met [GEITje-7B-chat](https://huggingface.co/Rijgersberg/GEITje-7B-chat) en [GEITJE-7B-ultra-sft](https://huggingface.co/BramVanroy/GEITje-7B-ultra-sft),
+* omdat het ook een fine-tune is op een chat-dataset.
 
 Edwin Rijgersberg heeft [uitgebreide documentatie](https://github.com/Rijgersberg/GEITje/blob/main/README.md) geschreven voor het gebruik van GEITje,
 en deze is ook van toepassing op Boreas.
 
 De voornaamste verschillen tussen Boreas en GEITje zijn:
 
-* Boreas-7B en Boreas-7B-chat zijn getraind met een context lengte van 2048 tokens, GEITje met 8192 tokens.
+* Boreas-7B en Boreas-7B-chat zijn getraind met een context lengte van 2048 tokens, terwijl GEITje is getraind met 8192 tokens.
 * Boreas-7B en Boreas-7B-chat zijn getraind op een mix van Engels en Nederlands, waar GEITje alleen op voornamelijk Nederlands getraind is.
-* Boreas-7B-chat is getraind op een mix van zowel chat conversaties als ook 'normaal' pre-trainen.
-
-Omdat zowel GEITje als Boreas afgeleiden zijn van hetzelfde basismodel, is het mogelijk om een [merge](https://github.com/arcee-ai/mergekit) te maken.
+* Boreas-7B-chat is getraind op een mix van chatconversaties als ook 'normaal' pre-trainen.
 
+Omdat zowel GEITje als Boreas afgeleiden zijn van hetzelfde basismodel, is het mogelijk om een [merge](https://github.com/arcee-ai/mergekit)
+te maken.
 
 ## Gebruik met ollama
 
@@ -64,12 +63,13 @@ Plaatje gemaakt met de [Radial Plot Generator](https://huggingface.co/spaces/ale
 
 ## Doel Boreas
 
-Creatie van een taalmodel dat wat betreft het Nederlandse gedeelte, niet getraind is op teksten gegeneerd door
-een LLM. Dus geen Nederlandse chats gegeneerd door een LLM, en ook geen datasets die vertaald zijn uit het Engels door een LLM.
-Er is niet strict gefilterd op LLM-gegenereerde tekst, maar dit is wel een aandachtspunt geweest bij het samenstellen van de datasets.
+Het doel van Boreas is de ontwikkeling van een taalmodel dat, met betrekking tot het Nederlandse gedeelte,
+niet getraind is op door LLMs gegenereerde teksten.
+Dit omvat het vermijden van Nederlandse chats gegenereerd door een LLM en datasets die vertaals zijn uit het
+Engels door een LLM.
 Bij het finetunen van Boreas-chat zijn toch 3% van de tokens Nederlandse chats gegeneerd door een LLM.
 Dit is een kleine dataset die gemaakt is op basis van Nederlandse bronteksten, en een steekproef heeft uitgewezen
-dat deze data van een goede kwaliteit is.
+dat deze data van goede kwaliteit is.
 
 Het uiteindelijke chat model is getraind op een mix van voornamelijk:
 
@@ -84,7 +84,7 @@ Het Boreas model kan dus beschouwd worden als een test voor knowledge transfer v
 
 Het basismodel is op Mistral-7B doorgetraind op 10 miljard tokens.
 
-De dataset is samengesteld uit verschillende bronnen in zowel Nederlands en Engels:
+De dataset is samengesteld uit diverse bronnen in zowel de Nederlandse als de Engelse taal:
 
 | Datasetnaam                                    | Aantal Tokens | Percentage Tokens (%) |
 |------------------------------------------------|---------------|-----------------------|
@@ -100,27 +100,33 @@ De dataset is samengesteld uit verschillende bronnen in zowel Nederlands en Enge
 
 De keuze voor deze mix is gebaseerd op zowel beschikbaarheid van data als de volgende overwegingen:
 
-* Veel Nederlands van hoge kwaliteit, teksten primair in het Nederlands geschreven door mensen. Hieruit volgt de keuze
-  voor romans, Wikipedia en nieuwsartikelen, maar bijvoorbeeld uitsluiten van forum-/twitterberichten en wetteksten.
-* Erin mixen van de originele dataset voor ~5%, om ervoor te zorgen dat een model haar originele kennis niet verliest.
-  Het is niet bekend op welke data Mistral getraind is, maar het is aannemelijk dat er kwalitatief goed Engels en ook instructiedata in verwerkt is. Daarom is voor de ~3% aan Engelse boeken, Wikipedia en ook instructiedata gekozen.
-* Zoveel mogelijk uitsluiten van door LLM's gegenereerde teksten in de pre-train fase. Bij veel datasets, vooral Nederlands, valt me op dat
-  de vertalingen of generaties van een slechte kwaliteit zijn. Daarom is gekozen voor datasets waarvan de brondata
-  pre ChatGPT tijdperk zijn, (dus voor November 2022).
-* mc4_nl_cleaned - de bron van deze dataset is mC4 - deduplicated data van Common
-  Crawl, en gefiltered op bad-words en andere bewerkingen volgens het recept van de T5 auteurs voor de Engelse C4 dataset. In diverse vergelijkingen blijkt C4 een goede pre-train dataset, daarom is mc4_nl_cleaned ook voor dit model gebruikt.
-* Er is geen sourcecode in gemixt - ik verwacht niet dat een 7B model ooit code kan genereren dat bruikbaar is.
-  Misschien helpt het bij logisch redeneer-puzzels, maar ook daarvoor verwacht ik dat een 7B model dit nooit zo goed
-  zal kunnen of generaliseren als grotere modellen.
-
-Bij het pre-trainen zijn de brontexten gepackt in blokken van 2048 tokens. Hierbij is waar mogelijk geprobeerd om alleen
-teksten te packen die bij elkaar passen. Ook worden kleine fragmenten weggegooid, zodat we
-bijvoorbeeld nooit een fragment krijgen dat begint met een paar tokens van het einde van een wikipedia artikel, om daarna met een ander wikipedia artikel te beginnen. Dit is gedaan om 'cross sequence' ruis binnen 1 example zoveel mogelijk te voorkomen. Pas na packing zijn de examples geshuffled.
+* Een substantieel aandeel hoogwaardig Nederlands taalmateriaal, primair bestaande uit door mensen geproduceerde teksten.
+  Dit leidde tot de inclusie van romans, Wikipedia-artikelen en journalistieke publicaties,
+  terwijl user-generated content zoals forumberichten, sociale media-uitingen en juridische documenten werden uitgesloten.
+* Integratie van ongeveer 5% van de oorspronkelijke dataset, teneinde de retentie van initiële kennis te waarborgen.
+  Hoewel de exacte samenstelling van de Mistral-trainingsdata onbekend is, is het aannemelijk dat deze kwalitatief
+  hoogwaardige Engelstalige content en instructiedata bevat.
+  Derhalve is gekozen voor de toevoeging van circa 3% Engelstalige literatuur, Wikipedia-artikelen en instructiedata.
+* Uitsluiten van door Large Language Models (LLMs) gegenereerde teksten in de pre-training fase.
+  Bij diverse Nederlandse datasets, valt de inferieure kwaliteit van vertalingen of gegenereerde teksten op.
+  Daarom is geopteerd voor datasets waarvan de brongegevens dateren van vóór het ChatGPT-tijdperk (i.e., vóór november 2022).
+* Inclusie van mc4_nl_cleaned - afgeleid van mC4, een geduplificeerde versie van Common Crawl data,
+  gefilterd op ongewenste terminologie en onderworpen aan additionele bewerkingen conform het voorschrift van de T5-auteurs
+  voor de Engelstalige C4 dataset. Gezien de goede prestaties van C4 in diverse vergelijkende analyses als pre-training dataset,
+  is mc4_nl_cleaned geïncorporeerd in dit model.
+
+In de pre-training fase zijn de brontexten gepackt in blokken van 2048 tokens. Hierbij is, waar mogelijk, gestreefd naar
+samenvoeging van coherente tekstfragmenten. Korte fragmenten zijn overgeslagen, om te voorkomen dat een voorbeeld
+begint met een paar tokens van het einde van een wikipedia artikel, gevolgd door een ander artikel.
+Deze methodologie is gehanteerd om 'cross-sequence' ruis binnen individuele voorbeelden te minimaliseren.
+De randomisatie van de voorbeelden is pas na deze aggregatie geïmplementeerd.
+
 
 ## Pre-training
 
-* Boreas was pre-trained with the [EasyDeL JAX framework](https://github.com/erfanzar/EasyDel) on a tpu-v4-32
-kindly supplied by the Google [TPU Research Cloud](https://sites.research.google/trc/about/).
+Boreas-7B is pre-getraind met het [EasyDeL JAX framework](https://github.com/erfanzar/EasyDel) op een TPU-v4-32 op
+de Google TPU Research Cloud. De pre-training specificaties zijn als volgt:
+
 * Batch size 96, gradient accumulation steps 2
 * Using flash attention, block size of 512
 * Max sequence length of 2048