Sommerfugl-31B-v2

Hvorfor vi trente Sommerfugl selv

Sommerfugl er ooLabs' familie av norske språkmodeller. Sommerfugl-31B-v2 er den nyeste, og den vi anbefaler. Vi har målt den mot begge Borealis 2-modellene fra Nasjonalbiblioteket, under deres egen protokoll. Mot Borealis 2 31B, som bygger på samme grunnmodell som Sommerfugl, står det 8 seire, 9 uavgjort og 8 tap når vi regner forskjeller på 0,01 eller mindre som støy. Mot Borealis 2 26B-A4B står det 16 seire, 5 uavgjort og 4 tap. Sammenlignet med Gemma 4 31B-it er vi også bedre på norsk språkkunnskap, oppsummering og omskriving.

Gemma 4 31B-it er en sterk modell. På Nasjonalbibliotekets ledertavle for norske språkmodeller ligger den blant de tre beste i elleve kategorier. Men Googles instruksjonstrening skader norsken: i kategorien norsk språkkunnskap faller den til rundt 48. plass, og i norsk oppsummering til rundt 51. plass. Sommerfugl-31B-v2 retter opp begge deler uten å gi slipp på styrkene til Gemma 4 31B-it. Den ikke-instruksjonstrente grunnmodellen gemma-4-31B ligger fortsatt på topp i flere av kategoriene, men er ikke trent til å følge instruksjoner eller føre samtaler.

Nytt i v2

Sommerfugl-31B-v1 hadde en uvane: Den svarte ofte «Det er ikke oppgitt …» på enkle kunnskapsspørsmål, som hvem som skrev Et dukkehjem. v2 svarer rett fram.

• Svarer på faktaspørsmål i stedet for å vike unna.
• Mer sannferdig: TruthfulQA mc på bokmål går fra 0,664 til 0,738.
• Bedre norsk språkkunnskap: NCB går fra 0,825 til 0,849.
• Kjører på vanlig maskinvare: v2 finnes også som GGUF.

Én ting ble dårligere: v2 oversetter litt svakere til engelsk enn v1 (62,4 mot 63,8 fra bokmål, 59,5 mot 62,1 fra nynorsk).

Åpen og lokal

Vektene er åpne og ligger på Hugging Face. Modellen kjører på egen maskinvare, i eget datasenter eller i den skyen du selv velger.

• GGUF for Ollama, LM Studio og llama.cpp: fra 19 GB. Kjører på én GPU med 24 GB minne eller en Mac med 32 GB.
• Full presisjon (bf16): om lag 62 GB. Trenger én GPU med 80 GB minne eller to med 48 GB.

Det betyr ingen API, ingen data som sendes ut av virksomheten og ingen leverandørbinding. For norske virksomheter med krav til personvern og råderett over egne data er Sommerfugl derfor et reelt norskspråklig alternativ til de lukkede modellene.

Vil du ta Sommerfugl i bruk i egen virksomhet? Vi hjelper med utrulling, tilpasning og drift. Skriv til support@oolabs.no.

Resultater

Alle tall er målt etter Nasjonalbibliotekets publiserte protokoll for ledertavlen: lm-evaluation-harness med NorEval, cloze-flervalg, chat-mal, beste av promptversjoner × {0, 5}-shot og grådig dekoding. Tallene for Gemma henter vi fra Nasjonalbibliotekets egen ledertavle. Sommerfugl og de to Borealis 2-modellene (26B-A4B fra august og 31B fra september 2026) har vi evaluert selv, under nøyaktig samme protokoll. Tallene gjelder vektene i full presisjon.

Vi har sendt modellen inn til Nasjonalbibliotekets ledertavle for uavhengig evaluering. Vi venter på at de kjører modellen, og oppdaterer siden når de offisielle tallene er klare.

Forskjeller på 0,01 eller mindre regner vi som støy (1 poeng for BLEU-tallene, som går fra 0 til 100). I hver rad er derfor alle verdier som ligger innenfor støymarginen fra den beste, uthevet. Parede verdier telles hver for seg, som gir 25 oppgaver der alle modellene har tall. MMLU norsk er holdt utenfor fordi vi ikke har kjørt Borealis-modellene der. * Bare 0-shot; 5-shot-kjøringen ble ikke fullført.

Mot Borealis 2 31B

Borealis 2 31B kom 28. september 2026 og bygger på samme grunnmodell som Sommerfugl: Gemma 4 31B-it. Dette er derfor den jevneste sammenligningen vi har. Med støymarginen på 0,01 står det 8 seire, 9 uavgjort og 8 tap:

• Sommerfugl er bedre på 8: idiomer på bokmål og nynorsk (0,441 og 0,507 mot 0,079 og 0,129), omskriving (3,96 mot 0,69), oppsummering på forespørsel (4,54 mot 1,78), NorSumm på nynorsk (7,02 mot 5,93), grammatikkretting (0,405 mot 0,358), leseforståelse (0,881 mot 0,841) og NCB (0,849 mot 0,830).
• Uavgjort på 9: NoCoLA, NorSumm på bokmål, oversettelse fra engelsk til bokmål og nynorsk, Belebele, OpenbookQA på bokmål, CommonsenseQA på nynorsk, NoReC og MMLU engelsk.
• Borealis 2 31B er bedre på 8: alle fire TruthfulQA-oppgavene (størst på mc: 0,832 mot 0,738 på bokmål og 0,912 mot 0,789 på nynorsk), oversettelse til engelsk fra bokmål og nynorsk, OpenbookQA på nynorsk og CommonsenseQA på bokmål.

Bruker vi i stedet evalueringsverktøyets egen feilmargin for hvert tall (95 % sikkerhet), er Sommerfugl klart bedre på 6, Borealis 2 31B klart bedre på 1, og 18 er for jevne til å skille. Mot Borealis 2 26B-A4B, forgjengeren fra august, står det 16 seire, 5 uavgjort og 4 tap med støymarginen på 0,01.

Kjente begrensninger

Vi rapporterer disse med vilje. En modell som bare viser fram det den er god på, er ikke til å stole på.

• TruthfulQA (mc) ligger 0,11 (bokmål) og 0,14 (nynorsk) under Gemma 4 31B-it, og TruthfulQA gen ligger svakt under. Trolig sliter veiledet finjustering bort noe av kalibreringen for sannferdighet som Googles instruksjonstrening ga. I praksis: kontroller fakta, tall og kilder i svarene før du bruker dem.
• Kjenner ikke til nyere hendelser. Modellen har samme kunnskapsgrense som Gemma 4, og kan omtale nyere hendelser som om de ikke har skjedd ennå.
• MMLU norsk ligger under Gemma 4 31B-it (0,797 i 0-shot mot 0,859).
• Oversettelse til engelsk er svakere enn hos Borealis 2 og enn i v1. Borealis 2 31B har også høyere tall på alle fire TruthfulQA-oppgavene.
• Ikke sikkerhetsevaluert. Nasjonalbibliotekets sikkerhetssett er blant oppgavene vi ikke har kjørt, og vi har ikke gjort egne sikkerhetstester. Skal modellen møte sluttbrukere, bør den kjøres bak egne filtre og retningslinjer.
• Ikke evaluert: Nasjonalbibliotekets upubliserte interne oppgaver (oversatt ARC, GSM8K, IFEval, GoldenSwag og sikkerhetssett, om lag 8 % av suiten) og de tunge 5-shot-flervalgsvariantene. Utelatelsene er de samme for alle modellene vi sammenligner.
• Støtter ikke tenkemodus. Modellen er trent til å svare direkte.
• Vi publiserer ingen samlet totalscore. Det tallet tilhører Nasjonalbibliotekets egen evalueringspipeline.

Etterrettelig evaluering

Treningsdataene er kvalitetssiktet og dekontaminert mot alle de 19 norske evalueringsdatasettene over, i alle splitter. Tallene er derfor ikke blåst opp av overlapp mellom trening og test.

Hva det kostet

All regnekraft bak Sommerfugl, begge versjonene og alle mislykkede eksperimenter underveis, kostet under 5 000 kroner i leid GPU-tid.

Til sammenligning har staten bevilget 45 millioner kroner årlig til avtalen mellom Nasjonalbiblioteket og Kopinor, som lar Nasjonalbiblioteket bruke avisinnhold når de trener språkmodellene sine (pressemelding, 10. august 2026). Pengene går til rettighetshaverne og gjelder alle Nasjonalbibliotekets modeller, ikke bare Borealis 2.

Hva selve treningen av Borealis 2 kostet, er ikke oppgitt. Vårt anslag for den videre fortreningen på om lag 90 milliarder tokens, kjørt både med og uten avisdata, pluss finjustering, er 200 000–600 000 kroner i regnekraft til markedspris. Lønnskostnader er ikke med, verken hos dem eller hos oss.

Slik bruker du modellen

Enklest er GGUF-utgaven. Med Ollama holder det med én linje:

ollama run hf.co/oolabs/sommerfugl-31b-v2-GGUF:Q4_K_M

Med llama.cpp:

llama-server -hf oolabs/sommerfugl-31b-v2-GGUF:Q4_K_M --jinja -ngl 99 -c 8192

Vektene i full presisjon lastes inn med transformers på vanlig måte. Modellen bruker Gemma 4 sin chat-mal. Eksempelet er testet med transformers 5.

from transformers import AutoTokenizer, AutoModelForCausalLM

tok = AutoTokenizer.from_pretrained("oolabs/sommerfugl-31b-v2")
model = AutoModelForCausalLM.from_pretrained(
    "oolabs/sommerfugl-31b-v2", dtype="bfloat16", device_map="auto"
)

msgs = [{"role": "user", "content": "Skriv et kort sammendrag av teksten under."}]
inputs = tok.apply_chat_template(
    msgs, add_generation_prompt=True, return_dict=True, return_tensors="pt"
).to(model.device)
out = model.generate(**inputs, max_new_tokens=256, do_sample=False)
print(tok.decode(out[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True))

Modellkort og vekter → GGUF-filer

Lisens