Sommerfugl-31B-v1

Hvorfor vi trente Sommerfugl selv

Sommerfugl er ooLabs' familie av norske språkmodeller, og Sommerfugl-31B-v1 er den første vi lanserte. Av åpne norske instruksjonsmodeller er dette den beste vi kjenner til i dag. Mot Borealis 2 26B-A4B, Nasjonalbibliotekets flaggskip da v1 kom, vinner vi 20 av 23 oppgaver under deres egen protokoll. Sammenligningen med den nyere Borealis 2 31B står på siden for v2. Sammenlignet med Gemma 4 31B-it er vi også bedre på norsk språkkunnskap, oppsummering og omskriving.

Gemma 4 31B-it er en sterk modell. På Nasjonalbibliotekets ledertavle for norske språkmodeller ligger den blant de tre beste i elleve kategorier. Men Googles instruksjonstrening skader norsken: i kategorien norsk språkkunnskap faller den til rundt 48. plass, og i norsk oppsummering til rundt 51. plass. Sommerfugl-31B-v1 retter opp begge deler uten å gi slipp på styrkene til Gemma 4 31B-it. Den ikke-instruksjonstrente grunnmodellen gemma-4-31B ligger fortsatt på topp i flere av kategoriene, men er ikke trent til å følge instruksjoner eller føre samtaler.

Åpen og lokal

Vektene er åpne og ligger på Hugging Face. Modellen kjører på egen maskinvare, i eget datasenter eller i den skyen du selv velger. I bf16 tar vektene om lag 62 GB, så modellen trenger én GPU med 80 GB minne eller to med 48 GB. Vi har ikke sluppet eller evaluert en kvantisert versjon.

Det betyr ingen API, ingen data som sendes ut av virksomheten og ingen leverandørbinding. For norske virksomheter med krav til personvern og råderett over egne data er Sommerfugl derfor et reelt norskspråklig alternativ til de lukkede modellene.

Vil du ta Sommerfugl i bruk i egen virksomhet? Vi hjelper med utrulling, tilpasning og drift. Skriv til support@oolabs.no.

Resultater

Alle tall er målt etter Nasjonalbibliotekets publiserte protokoll for ledertavlen: lm-evaluation-harness med NorEval, cloze-flervalg, chat-mal, beste av promptversjoner × {0, 5}-shot og grådig dekoding. Tallene for Gemma henter vi fra Nasjonalbibliotekets egen ledertavle. Sommerfugl og Borealis 2 26B-A4B (preview fra august 2026) har vi evaluert selv, under nøyaktig samme protokoll.

Vi har sendt modellen inn til Nasjonalbibliotekets ledertavle for uavhengig evaluering. Vi venter på at de kjører modellen, og oppdaterer siden når de offisielle tallene er klare.

Beste verdi i hver rad er uthevet. Mot Borealis 2 vinner vi 20 av 23 oppgaver der protokollen er fullstendig. De 23 er tabellens rader med parede verdier telt hver for seg (NorSumm, idiomer, OpenbookQA/CommonsenseQA, TruthfulQA mc og TruthfulQA gen) og oversettelse telt som fire retninger. MMLU norsk er holdt utenfor fordi vi bare kjørte en kort stikkprøve på Borealis 2 der. De tre tapene er TruthfulQA mc på bokmål og nynorsk, og TruthfulQA gen på bokmål.

Kjente begrensninger

Vi rapporterer disse med vilje. En modell som bare viser fram det den er god på, er ikke til å stole på.

• TruthfulQA (mc) går tilbake med 0,19 sammenlignet med Gemma 4 31B-it, og TruthfulQA gen går svakt tilbake. Trolig sliter veiledet finjustering bort noe av kalibreringen for sannferdighet som Googles instruksjonstrening ga. I praksis: kontroller fakta, tall og kilder i svarene før du bruker dem.
• MMLU norsk går tilbake med 0,035 sammenlignet med Gemma 4 31B-it.
• Ikke sikkerhetsevaluert. Nasjonalbibliotekets sikkerhetssett er blant oppgavene vi ikke har kjørt, og vi har ikke gjort egne sikkerhetstester. Skal modellen møte sluttbrukere, bør den kjøres bak egne filtre og retningslinjer.
• Ikke evaluert: Nasjonalbibliotekets upubliserte interne oppgaver (oversatt ARC, GSM8K, IFEval, GoldenSwag og sikkerhetssett, om lag 8 % av suiten) og de tunge 5-shot-flervalgsvariantene. Utelatelsene er de samme for alle modellene vi sammenligner.
• Vi publiserer ingen samlet totalscore. Det tallet tilhører Nasjonalbibliotekets egen evalueringspipeline.

Etterrettelig evaluering

Treningsdataene er kvalitetssiktet og dekontaminert mot alle de 19 norske evalueringsdatasettene over, i alle splitter. Tallene er derfor ikke blåst opp av overlapp mellom trening og test.

Hva det kostet

All regnekraft bak Sommerfugl-31B-v1, inkludert alle mislykkede eksperimenter underveis, kostet under 5 000 kroner i leid GPU-tid.

Til sammenligning har staten bevilget 45 millioner kroner årlig til avtalen mellom Nasjonalbiblioteket og Kopinor, som lar Nasjonalbiblioteket bruke avisinnhold når de trener språkmodellene sine (pressemelding, 10. august 2026). Pengene går til rettighetshaverne og gjelder alle Nasjonalbibliotekets modeller, ikke bare Borealis 2.

Hva selve treningen av Borealis 2 kostet, er ikke oppgitt. Vårt anslag for den videre fortreningen på om lag 90 milliarder tokens, kjørt både med og uten avisdata, pluss finjustering, er 200 000–600 000 kroner i regnekraft til markedspris. Lønnskostnader er ikke med, verken hos dem eller hos oss.

Slik bruker du modellen

Vektene ligger åpent på Hugging Face og lastes inn med transformers på vanlig måte. Modellen bruker Gemma 4 sin chat-mal. Eksempelet er testet med transformers 5.

from transformers import AutoTokenizer, AutoModelForCausalLM

tok = AutoTokenizer.from_pretrained("oolabs/sommerfugl-31b-v1")
model = AutoModelForCausalLM.from_pretrained(
    "oolabs/sommerfugl-31b-v1", dtype="bfloat16", device_map="auto"
)

msgs = [{"role": "user", "content": "Skriv et kort sammendrag av teksten under."}]
inputs = tok.apply_chat_template(
    msgs, add_generation_prompt=True, return_dict=True, return_tensors="pt"
).to(model.device)
out = model.generate(**inputs, max_new_tokens=256, do_sample=False)
print(tok.decode(out[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True))

Modellkort og vekter på Hugging Face →

Lisens