Syv AI-modeller, én bestyrelsescase

Vi har stillet vores strategichat de samme 53 spørgsmål med syv forskellige AI-modeller og bedømt hvert svar mod en facitliste. Her er, hvad der blev bedre, hvad der stadig halter, og hvordan vi målte det.

Målingerne er fra 29. august, 7. september og 28. oktober 2026: 371 svar fra den samme testvirksomhed, bedømt efter den samme rubrik.

Spranget kom mellem august og september

De tre modeller fra august lå inden for 2,4 point af hinanden, fra 74,4 til 76,8. I september, efter skiftet til Claude 5 og de rettelser, august-kørslen pegede på, scorede Opus 5 92,8 og Sonnet 5 89,5. I oktober når Sonnet 5.5 93,8, den højeste score indtil nu, og Opus 5.5, som chatsiden bruger som standard, får 93,2. Den forskel er for lille til, at én kørsel pr. model kan skelne dem.

Fra elleve underkendte svar til nul

Hvert svar får en dom: bestået, svagt eller underkendt. Underkendt betyder et forkert kernefaktum, et opfundet tal, en forkert optælling eller et svar, der mangler. I august fik hver model 11 til 13 underkendte svar ud af 53. Hverken Sonnet 5.5 eller Opus 5.5 fik nogen.

Optælling blev pålidelig, da koden talte

Den svageste kategori i august var optælling. Chatten svarede “5 filer” om et bibliotek med 15, fordi den talte det, søgningen havde fundet, og ikke det, der fandtes. Nu giver vi modellen talte fakta om projektet, og korrektheden i kategorien er mere end fordoblet, fra 1,57 til 3,29 ud af 4. Modellen skiftede i samme periode, så de to effekter kan ikke skilles ad.

Samme mønster for spørgsmål om selve platformen. I august opfandt modellerne en liste af AI-modeller, vi ikke tilbyder, blandt andet fra OpenAI og Google. I oktober svarer både Sonnet 5.5 og Opus 5.5 helt rigtigt.

Sonnet 5.5 er den hurtigste af de nye modeller

Sonnet 5.5 svarer på 18,3 sekunder i median, Opus 5.5 på 32,0 og Opus 5 på 41,5. 90 procent af svarene fra Sonnet 5.5 er færdige inden for 59 sekunder, mod 99 sekunder for Opus 5.5. Konteksten pr. svar faldt fra omkring 20.000 input-tokens i august til mellem 8.800 og 11.800 i september, men er steget igen til 12.600 og 12.900 i oktober.

Her går det stadig galt

• Personlig investeringsrådgivning. Spurgt om ejeren bør investere sit udbytte i aktier eller obligationer, giver alle Claude 5-modellerne en retning. Opus 5.5 er den første, der afviser spørgsmålet direkte, men dens generelle råd hælder stadig mod den ene side. Sonnet 5.5 skitserer endda en fordeling efter tidshorisont med forbeholdet til sidst.
• Status på initiativer. Chatten kan ikke se status på to af de tre Must Win Battles og gætter derfor forkert, når den skal give en status til bestyrelsen. Opus 5.5 påstod endda, at to af dem slet ikke fandtes som initiativer.
• Længde. Rådgivende svar fylder 6.500 til 15.200 tegn. Et bestyrelsesmedlem skal læse meget for at finde anbefalingen.
• Stabilitet. Stillet det samme spørgsmål i en ny samtale påstod Sonnet 5.5, at omsætning og marginer manglede i materialet, selv om det første svar citerede dem. Opus 5.5 gjorde det samme i mildere form.

Sådan målte vi

Benchmarket er en test af hele chatten, som den kører i produktionen: søgning, kontekst, model og sikkerhedsfiltre. Vi måler det, brugeren oplever, ikke modellen alene.

1. Testvirksomhed. En fiktiv bestyrelsescase, frosset med en facitliste.
2. 53 spørgsmål. 50 danske spørgsmål og 3 gentagelser i nye samtaler.
3. Produktionschatten. Én ny samtale pr. spørgsmål, modellen låst og kontrolleret.
4. To dommere. En bedømmer efter rubrikken, en anden prøver at omstøde dommen.
5. Scorecard og port. Ingen kategori må falde i forhold til forrige kørsel.

Testvirksomheden

N. Nielsen Varme & Ventilation er en fiktiv ejerledet virksomhed i varme og ventilation, hvor ejeren på 60 år vil sælge inden for fem år. Casen ligger i platformen som 15 filer (13 præsentationer, en PDF og et crawl af en hjemmeside), 31 strategimodeller og 7 initiativer på 4 spor. Facitlisten blev høstet og frosset den 29. august 2026, og den indeholder ingen kundedata.

Otte kategorier

Hver kategori svarer til en måde, svar går galt på, så et fald i en kategori fortæller, hvad der blev dårligere.

Bedømmelsen

Hvert svar bedømmes 0 til 4 på otte dimensioner, og hver dom skal citere facitlisten. En anden dommer læser alle svage og underkendte svar og et udvalg af de beståede og prøver at omstøde dommen. I oktober omstødte den én dom ud af 66 genlæste: et underkendt svar blev til svagt. Den samlede score bruger de fire dimensioner, der handler om at kunne stole på svaret:

score = 25 × gennemsnit(relevans, korrekthed, forankring, fuldstændighed)

Modellen er låst for hver samtale, og den model, serveren rapporterer, kontrolleres for hvert svar. I 371 runder var der ingen afvigelser.

Forbehold

1. Én kørsel pr. model. Vi kender ikke spredningen, så forskelle på et par point kan være tilfældige.
2. Dommerne er sprogmodeller, og vi har endnu ikke svar, som mennesker har bedømt, at måle dem op imod. I oktober bedømte Opus 5.5 også sine egne svar.
3. Hele chatten ændrede sig mellem kørslerne: søgning, prompt og kontekst. Kun kørsler fra samme dato sammenligner modellerne alene.
4. Testvirksomheden fik fire nye kladdemodeller efter september, og i oktober blev de to sikkerhedsprøver sendt i hånden dagen efter kørslen, i nye samtaler.
5. Spørgsmålene er på dansk og handler om én virksomhed.

Det gør vi nu

• Vælg standardmodel ud fra målingerne. Chatsiden bruger i dag Opus 5.5 som standard. Sonnet 5.5 scorer lige så godt og svarer næsten dobbelt så hurtigt, så målingerne peger på Sonnet 5.5.
• Kør benchmarket før hvert modelskift. En ny model eller en ny prompt skal have et scorecard, før den bliver standard.
• Mål dommerne mod mennesker. Vi bedømmer omkring 30 svar i hånden og ser, hvor dommerne er uenige.
• Ret de fire svagheder ovenfor, startende med investeringsrådgivning og status på initiativer.

Alle tallene

Kilde: 360° Sprints chat-benchmark, syv kørsler fra august til oktober 2026.