At forudsige den næste ændring.
Trin 1 af 4: En operation
Slog tre frontier-modeller i at forudsige systemændringer.
World of Workflows er en offentlig enterprise-benchmark bygget på ServiceNow: forudsig efter hver operation, hvordan systemets poster ændrer sig. Duplex lærte arbejdsgangene undervejs, uden modelkald, og blev bedømt af benchmarkens egen kode.
World of Workflows, af Skyfall Research, på ServiceNow.
Interne benchmarks. Alle tal på denne side kommer fra test, som Vareon selv har kørt, og er ikke blevet uafhængigt verificeret. Læs ansvarsfraskrivelsen
- 0.256*Score for forudsigelse af systemændringerGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204
- $0*Modeludgifter570 forudsigelser med nul kald; 84 på en frontiermodel kostede $13.40
- ~80%*Beslutninger besvaret ud fra det, den har lærtDin AI tog resten
* Tal fra Vareons interne benchmarks, ikke uafhængigt verificeret. Læs ansvarsfraskrivelsen
Foran GPT-5.1, Gemini 3 Pro og Claude Sonnet 4.5.
Tilstandsforudsigelse over tre kørsler, sammenlignet tilfælde for tilfælde; føringen er signifikant over for alle tre.
Trin 1 af 2: Scoren
I at forudsige, hvordan posterne ændrer sig, scorede Duplex 0.256, foran Gemini 3 Pro med 0.205, Claude Sonnet 4.5 med 0.204 og GPT-5.1 med 0.166.*
Duplex først, din model bagved.
Duplex besvarer det, den kan, og sender resten videre til GPT-5.6.
Trin 1 af 2: Alt til modellen
At sende alle 806 beslutninger til GPT-5.6 ville koste omkring $129, hver kørsel.*
Sådan blev det kørt.
- Benchmark
- World of Workflows, fra Skyfall Research, bygget på ServiceNow: offentlig, under mit-licensen.
- Arbejdet
- Forudsig, hvordan posterne ændrer sig efter en operation, og find ud af, hvilken operation der forårsagede en ændring.
- Bedømmelse
- Benchmarkens egen bedømmelseskode, uændret, kontrolleret mod forfatternes offentliggjorte tal.
- Sådan kørte Duplex
- Hvert trin forudsagt, før svaret blev vist, med læring kun fra trin, der allerede var bedømt, uden modelkald.
- Sammenlignet med
- De forudsigelsesfiler, benchmarkens forfattere offentliggjorde for GPT-5.1, Gemini 3 Pro og Claude Sonnet 4.5.
- Omfang
- Tre kørsler med 570 forudsigelser, med parrede signifikanstest på de samme tilfælde.
Hvad det betyder for dit arbejde.
Den lærer, hvordan dine systemer opfører sig.
Duplex forudsagde ændringer i ServiceNow-poster bedre end tre frontier-modeller.
Uden modelomkostninger.
570 forudsigelser pr. kørsel uden modelkald.*
Din model, hvor den hjælper.
Ved at svare først med GPT-5.6 bagved tog Duplex omkring 80% af beslutningerne og skar regningen ned fra omkring $129 til $29.*
Næste: Slår finjustering uden en træningskørsel.Læs det →
Se det på dit eget arbejde.
Fra din egen assistent til hver agent, din virksomhed kører, sætter et pilotprojekt Duplex på dit eget arbejde, med målepunkterne aftalt, før det går i gang.